求推荐开源 AI 模型

311 天前
 balabalaguguji

我想自己训练一个 AI ，主要用来做 APP 客服，为它喂一些相关专业知识，方便为用户解答，请问有什么比较合适的开源 AI 吗？

要能在普通服务器上跑起来的。

1863 次点击
所在节点    Local LLM
11 条回复
azure2024us
311 天前
GLM-130B , 国内清华大学的， 之前部署过。

推理 12g 显存就够了。

训练要 24g + 显存 才勉强跑的动。
frankyzf
311 天前
ollama 的 mistral 可以试试
shinyzhu
311 天前
最近在用 01 万物和 moonshot ，感觉能力都不错的。
Liftman
311 天前
这种需求自己训练极其不划算。而且效果不好。
v24radiant
311 天前
最近用了一下 xverse 的，感觉还可以
gaobh
311 天前
给用户用就必须要 gpu 服务器了，然后看看用户量计算一下能承受多少成本，算完你就会发现你会破产。
kidlj
311 天前
可以手机推理的端侧大模型（ 2B ）： https://github.com/OpenBMB/MiniCPM
lithiumii
311 天前
套路一般是买 GPT-4 的 API 先顶着，凑了几百条数据之后就可以微调一个便宜的本地模型了
wwhc
311 天前
Privategpt+Mistral 7B 用 1080ti 推理速度就很好了，或者 Privategpt+Mixtral 8x7B ，合法可商用性能很好的开源模型，但对 GPU 要求高
canxin
311 天前
Grok 刚刚开源
weixind
311 天前
https://fastgpt.run/ 这种之类的知识库解决方案 + GPT-3.5/4 基本上差不多了。自己微调和部署的成本短期来看会是更高的。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1024510

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX