请教,关于显卡内存

32 天前
 abc634

运行 llm 需要一定的显卡内存。 但是市面上的显卡内存超过 12G 的话就贵了。

因此有个猜想的方案, 使用 可以分享内存的集成显卡(例如 AMD 的)

然后可以把内存例如 32 G 分配给 集成显卡, 从而达到运行 大参数模型的目的。

当然,我知道 集成显卡算力差,但是有时候验证原型花一些时间等待是可以接受的。

请问有没有人这么做过,或者是否可行?

感谢赐教先。

1694 次点击
所在节点    Local LLM
22 条回复
abc634
21 天前
@mili100 感谢经验分享。
看起来是不错的主意,但是 需要比较强的代码能力?
我这边主要偶尔要测试下 Hugging Face 的模型,我暂时还不清除当这些模型要求使用 cuda 的时候,怎么去改造成使用 Ollama ,感谢提供了一个新的思路。
YsHaNg
20 天前
@abc634 你是指用 ollama offload cpu 推理? 其实可以都做 拉 docker 选 cuda tag num_gpu 指定使用 gpu 数量 这样可以随时切换

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1104370

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX