zhongdenny 最近的时间轴更新 zhongdenny 最近的时间轴更新 |
zhongdennyV2EX 第 197175 号会员，加入于 2016-10-19 23:59:59 +08:00 |
zhongdenny 最近回复了
@mingtdlb ollama 的默认 671b ，400G 大小，好像写着是 4 比特量化版本。官方版本 163 个 4G 的文件，合计大概 700G 。
1 天前 回复了 2067 创建的主题 › Local LLM › 有没有富哥实际部署了 671b 完全体 R1 的来说说跟 llama3.1:405b 的性能有多大进化 |
@nagisaushio 你是用 ollama 还是 llama.cpp 来运行的？
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
Select Language