这套垃圾配置训练模型可以吗

2024-01-18 14:17:55 +08:00
lordofmetis  lordofmetis

第一次发帖，不知道是否发在合适的节点，如果发错了，还请见谅。

废话不多说，配置如下：

  1. 主板：超微 X9SRL-F ，两个 PCIE 3.0 ✖️ 16 槽，若干个 PCIE 3.0 ✖️ 8 槽；
  2. 显卡：英伟达 Tesla P40 ✖️ 2 + AMD GT650 亮机卡；
  3. CPU：至强 E5-2680V2 ；
  4. 内存：三星 DDR3 32G ✖️ 4 ；
  5. 硬盘：随便；
  6. 电源：挑个 1000W 以上的。

上面这样一套配置跑深度学习以及训练模型可以吗，有什么坑吗？ 提前谢谢大家！

7640 次点击
所在节点   程序员  程序员
61 条回复
lifeOsDeveloper
lifeOsDeveloper
2024-01-18 15:07:34 +08:00
可以
tap91624
tap91624
2024-01-18 15:09:41 +08:00
P40 半精度听说有点问题，可以提前看下自己对 FP16 要求高不高
stimw
stimw
2024-01-18 15:15:03 +08:00
没啥问题，我自己拿了张 4090 ，但是没 nvlink 所以双卡也没啥用了。
p40 就是性能太烂了。
有预算还是上魔改 22g 的 2080ti ，甚至 3090 。
lordofmetis
lordofmetis
2024-01-18 15:18:16 +08:00
@lifeOsDeveloper 谢谢回复
yummysakko
yummysakko
2024-01-18 15:18:52 +08:00
这东西应该有集显的，不用亮机卡
lordofmetis
lordofmetis
2024-01-18 15:22:15 +08:00
@tap91624 谢谢回复，想请教下一般在什么场景下会对 FP16 有较高的要求？也正是因为这个，之前一直在纠结到底是 P40 还是 P100 ，Reddit 上网友说如果是要 train 或者 fine tune 模型的话，P40 更合适，如果是 model inferencing 的话，那 P100 更合适些，不知道这是不是和半精度有关。
lordofmetis
lordofmetis
2024-01-18 15:25:37 +08:00
@stimw 谢谢回复，魔改 2080ti 之前也考虑过，一同考虑过的还有魔改的 3060 12G 之类的，感觉配置起来会省心很多，不用搞外部散热，也不要转接线什么的，但是就怕魔改的用起来有这样那样的问题，网上很多人也不推荐魔改的，不知道实际情况到底咋样。
hiphooray
hiphooray
2024-01-18 15:27:43 +08:00
是打算训练啥样的模型？图像、视频、文字？
tap91624
tap91624
2024-01-18 15:28:48 +08:00
@lordofmetis 我做推理多，推理用 fp16 多
lordofmetis
lordofmetis
2024-01-18 15:29:40 +08:00
@yummysakko 谢谢回复，我再去研究下，之前问了 GPT4 ，说基本上 E5 系列的都是没有集显的，如果不用亮机卡那是最好了，我还能省个十几块钱呢（ doge
Pteromyini
Pteromyini
2024-01-18 15:29:54 +08:00
@lordofmetis #6 绝大多数情况下 train 和 fine tune 过程更考验半精度，因为在训练过程中对于计算精读并不需要太多考量，每一步单独的计算都是简单计算
lordofmetis
lordofmetis
2024-01-18 15:34:34 +08:00
@hiphooray 倒是还没有明确的想法，等配好了之后探索试试看吧，所以现在也不想花太多的钱。
lordofmetis
lordofmetis
2024-01-18 15:39:03 +08:00
@tap91624 好的，学习了
lordofmetis
lordofmetis
2024-01-18 15:39:30 +08:00
@Pteromyini 谢谢回复，又学到啦
sujin190
sujin190
2024-01-18 16:14:58 +08:00
好奇这套多少币？
ztmzzz
ztmzzz
2024-01-18 16:15:26 +08:00
这种服务器主板上有集成显卡的，不用亮机卡
vickhan
vickhan
2024-01-18 18:13:44 +08:00
也想知道需要多少米，关键家里也要够大，要不然这声音也不小把
echo1937
echo1937
2024-01-18 18:27:18 +08:00
别买 X9SRL-F ，早就停产了，都是店保几个月的货，还是 x79 平台的。
买个精粤华南的 x99 d3 大板吧，价格基本差不多，性能更好，还带三年保修，何乐而不为。
xianqin
2024-01-18 20:45:57 +08:00
同好奇多少币？
另外准备装到普通机箱里？
seres
2024-01-18 20:58:55 +08:00
图省钱，我选 e5+x99+2080ti 22g

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1009676

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX