如何本地部署 DeepSeek-r1 模型训练自己的大模型

3 天前
 CodingNameless

关于本地部署 DeepSeek-r1 模型进行定制化训练的问题,想请教一些技术细节。我们公司计划开发一套智能问答系统,主要用于内部业务指南的自动化处理。考虑到数据安全性和定制化需求,我们希望在本地环境部署 DeepSeek-r1 模型。

具体而言,我们有以下疑问:

通过向模型提供高质量的领域特定数据,是否能够有效训练出符合公司业务需求的定制化模型? 在训练过程中所使用的技术是什么? 我们计划使用公司积累的高质量业务文档和知识库作为训练数据,期望最终模型能够准确理解和回答与公司业务相关的问题。

感谢各位大佬的宝贵时间和建议!

1762 次点击
所在节点    Local LLM
11 条回复
Kite6
3 天前
671b ,成本爆炸
CodingNameless
3 天前
不会用到 671b ,只是 14b 或者 32b 这种能回答一些基本问题的,然后也能结合我们公司的业务知识
CodingNameless
3 天前
@Kite6 #1 不会用到 671b ,只是 14b 或者 32b 这种能回答一些基本问题的,然后也能结合我们公司的业务知识
qxmqh
3 天前
你去 github 上搜一个叫 LLaMA-Factory 的东西。你会发现有惊喜。
Mianmiss
3 天前
推荐你用 DIFY 建立公司知识库,微调就算有框架,没点技术 也很难训练成。
Dw521
3 天前
ollama 搜索一下这个也会有惊喜
visper
3 天前
直接 ollama 一个命令...
newaccount
3 天前
14b 和 32b 就是被 deepseek-r1 提拔了两句的阿里通义千问,它跟 deepseek 的关系就是没啥关系
heliar
3 天前
先别一开始就想着训练,用 RAG 试试。训练的话你知识库经常更新成本不低
JohnYehyo
3 天前
AI 初阶玩家好奇问一下, 如果微调的是 deepseek 蒸馏过的模型比如 OP 提到的 DeepSeek-R1-Distill-Qwen-14B, 那么
1.会不会让模型反而表现不佳
2. 和我直接微调蒸馏对应的 Base Model(比如 Qwen2.5-14B)区别大吗
specssss
1 天前
直接去优云智算,有基于 vLLM 、Ollama 的 R1 蒸馏模型,基于 Unsloth 的动态量化版本,比较全了
https://www.compshare.cn/image-community

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1109311

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX