Deepseek R1 671B 本地部署计算机硬件配置？

2 天前
 lucien94xxx
公司打算部署个本地的 DeepSeek 671B 版本的需要什么硬件配置，有没有大佬告知下
879 次点击
所在节点    Local LLM
7 条回复
JetMac
2 天前
不懂，粗略算的话 1B1G 显存内存，流畅运行至少需要 700G 显存、内存？
Chism
2 天前
油管有相关的节目，需要 10 个英伟达 5090 显卡或者 20 个 4090
nicholasxuu
2 天前
便宜的话，有个压缩版的 671B ，192G 的 mac studio 能跑（ input token 要限制在 2000 以内，不然内存会炸）。
正常的话需要大概价值 200w 元的 h10 。
blackmolycat
2 天前
有看过配置表，8 个 A100
x1aoYao
2 天前
用 CPU 推理速度怎么样呢？成本应该比 GPU 低，毕竟内存比显存便宜。例如用 128 核的 EPYC 9755 CPU 加 1T 内存，不到 15 万
kiseopt
1 天前
@x1aoYao CPU 性能没什么太大要求，生成卡内存带宽了，三五个 token 每秒
mingtdlb
21 小时 2 分钟前
@blackmolycat 配置表出处？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1109455

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX