首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  zhongdenny  ›  全部回复第 1 页 / 共 1 页
回复总数  2
2 天前
回复了 mingtdlb 创建的主题 › Local LLM › LLM 私有化部署
@mingtdlb ollama 的默认 671b ，400G 大小，好像写着是 4 比特量化版本。官方版本 163 个 4G 的文件，合计大概 700G 。
2 天前
回复了 2067 创建的主题 › Local LLM › 有没有富哥实际部署了 671b 完全体 R1 的来说说跟 llama3.1:405b 的性能有多大进化
@nagisaushio 你是用 ollama 还是 llama.cpp 来运行的？
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2580 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 00:25 · PVG 08:25 · LAX 16:25 · JFK 19:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.