老哥们，求一台用来学习 ai 的主机，求推荐，预算 7k 以下，能省就省

国外好些平台，H100 的租用价格都跌到差不多 1 ～ 2 美元/小时了。如果没有特别的数据隐私要求，或者自己不缺电脑，直接租云服务吧。

确实，主要手头没有 n 卡的电脑，上大学本来是机械专业，就买了个轻薄本在用着，但没个 n 卡的电脑属实不方便

目前我用过的两家小厂的服务器一个是智星云 ai 一个是 autodl 算力云，有更好用的老哥，可以给我推荐一下。

50 系暂时没有符合你预算的发售

AI 入门也需要 4060ti 16G 吧，再加钱显卡性价比就很低了。不如直接用云 GPU 服务器租算力。

不介意二手卡可以淘宝看看 2080ti 22G ，甚至可以双卡 NVlink ，单卡价格应该在三千块以下

@Quik 我主要担心 20 系的显卡 cuda 的版本支持的版本比较落后，这个影响大吗

@nocae #7
可以看一下 nv 的文档。20 系列是图灵架构，到现在最新的 cuda toolkit 似乎还在支持：
https://docs.nvidia.com/datacenter/tesla/drivers/index.html#software-matrix
另外 cudnn 也可以参考：
https://docs.nvidia.com/deeplearning/cudnn/latest/reference/support-matrix.html

不过图省事的话，还是云服务比较好，自己买卡需要折腾装机什么的，放在宿舍里跑程序也很吵，不如考研结束再观望。2080ti 22G 只能说算是穷鬼最后的选择

7k ？ 4070 都 5k 左右了，还是去租吧

@Quik ok,那我再观望那个一阵子

@mingtdlb 租的话主要倒腾数据麻烦，先观望一阵，看看 5060 发布之后有合适的吗

如果个人实验，现在的纯 cpu(最好 amd ） 可以跑 70b 4int 量化用 llamacpp ，不过很慢，但能忍。30b 以下很快。
这时限制在内存，内存尽可能要大，内存至少要 32G, 最好 64G ， 然后支持 Oculink 接口，外接显卡。这样的 miniPC 机器 我配了一台 天呗 gem12pro 2400 + 4t ssd + 64g DDR5 大概 5k 左右

@nocae 我在用双卡 2080ti 22G ，32B 模型大概每秒 20+token 吧，再大就没试了。日常用的最多还是 14B 模型。其他至少还没遇到不支持的东西。我还在用 6 代平台，是旧电脑升级上来的，升级了内存、电源、主板、显卡、机箱。总共花了不到 6k 吧。你要上新平台双卡 2080ti ，7K 应该也能搞定。

你自己这个预算买啥主机都捉襟见肘，用 autodl 租算力吧，autodl 支持网盘，几块钱搞个 VIP 传数据也不会很慢。
至于上研究生了老板会给你配工作站，都是几十几百万的机器，用不着你这点算力。

补充：关键还是考虑下你需要多大显存。
16G 显存，可以选 4060ti ，贵一点的 4070tis 也可以，或者你等 50 系也行。再便宜，就是可选 v100
24G 显存，3090 其实也不错，带宽够高。
搞 CPU 推理，内存带宽上不来，都是邪路，别折腾了，就选 N 卡。

@riceball 外接显卡是需要机器支持吗，我也有一台 天坝，没看到有插显卡的地方呀

@nocae #2
机械专业的 CAD 要用到 opengl ，对显卡性能还是有要求的吧？只不过可能更偏向专业图形性能而不是游戏性能了。

@Quik #6
火坑啊。

@ltaoo1o #16
笔记本外接显卡当然要机器支持，可以是雷电接口外接雷电显卡坞，显卡坞需要带有转换芯片；也可以是 oculink 接口（联想叫 tgx 接口）外接显卡坞。从性能和使用来说是 oculink 接口（ tgx 接口）最好，可以近似当成 pcie 接口直接引出来，显卡坞本身不需要转换芯片，就是支持的机器太少了。

@ltaoo1o 是的，需要机器支持。gem12pro 有接口

@uprit 人家是学习，cpu 足够了，微调个 7b int qlora 。真要训练，那不得上服务集群。

@riceball #19 基础的学习也可以考虑白嫖一下 colab ，或者买几个月的 colabpro 能给好一点的卡