现在买 3090TI 玩 AI 靠谱吗

@digd 不止 llm ，啥都想试哈哈哈，sd 跑跑图，再做做 tts ，其实也是探索自己的兴趣

@hunk 我之前就是租用云 gpu ，这个主要弊端是只能 linux ，很多大神的整合包都是 windows ，另外每次用完都要重新搭建环境，时间长了也挺麻烦的。。

@x86 听过这个方案，而且效果据说很强，主要是咱硬件一窍不通不敢这么弄😂 有靠谱渠道倒是完全可以考虑

@go522000 那老哥有啥推荐吗，就直接上魔改？

@jamfer 感激，我来看看

@libook 我估计大概率不会到训练，主要是推理。但加在多个模型可能会有，比如加载多个 lora

@WilliamZuo 硬件要求确实也在降低中，外国很多老哥在把模型优化成 12g 显存能跑。不过也都是开源小模型，毕竟有一定局限性

@imoru 这个我试过，国内的 autodl ，国外的 runpod ，说实话都还不错。主要问题是只能 linux 没有图形界面，但很多整合包还是要图形界面操作，时间长了觉得租的还是不方便

@neteroster 我估计最多也就跑个 70b 了，再大确实也没啥必要，而且也可以租 gpu 来玩

@Caitlyn 老哥你的 70tis 跑图通常是多大的图，加 lora 吗

@JayZXu 24g 啊，显存跑 70b 不行吗，我其实是想在本地尝试 70b 的。回头我去租个 gpu 试试看

@thinkershare 我自己玩主要是推理，训练确实可以租 gpu 。有点之前忘说了，云 gpu 主要是只能 linux 有些大神的整合包用不了，而且每次都要重新搭建环境，时间长了感觉有点蛋疼

@clear 哈哈啊哈老哥清醒！

@1138743695 我之前也都是租，但我看很多大神出的整合包都是 windows 的，租的 gpu 都是 linux 用不了。加上每次要重新配环境有点蛋疼，这才考虑组机器。前面这两问题老哥怎么解决的？

@Francost 我之前也是用 runpod （现在上面都还有钱笑死），租卡主要是👆这俩问题，老哥有啥好办法吗

@secondwtq 蛮有道理的，能快速生成预览还蛮重要的

@leconio 老哥点解，为啥为了生态要选 40 系？ 30 和 40 的生态不一样吗，我理解都是 cuda

大家讨论好多，很感谢哈哈哈

原题忘了说了，我之前也一直是租 GPU 的，主要是 runpod 和 autodl 两个平台上。性价比上绝对是租划算，主要问题是 1 ）想玩一些大神的整合包，但只能 windows/可视化，租的 gpu 都是只有 linux 这种整合包就跑不了；再来租的每次都要重新搭环境，时间长了有点蛋疼，这才考虑组机器。

不过说实话我动手也没有那么多，看了一圈下来大家分歧还是比较大😂 准备再租 gpu 一段时间，真要入的话目前倾向 4070tis 了。

至于 mac ，我工作电脑是个 M2 pro 芯片，跑 llm 倒是挺好。sd 的话还是慢的过分了，我感觉体验不是很能接受。但更新的 M3 + 统一内存没试过，我理解速度上还是不如显卡？因为它只是显存大，计算还是得 cpu

@tr1v1z m3max 3 秒一张图和 3090 2 秒一张图差多少？ 而且楼主是为了研究 ai ，3090 能跑 llam 70b ？ 跑内存里是吧。这就不是浪费时间了？

@devlnt #20 70b 模型，4090 显存是不够的

4090*3 ，跑 70b ，每张显卡占用 13G 显存。

目前使用 mac m1max 只会用 sd ，出图有点慢，搭车问下，mac 有没有一些免费项目可以训练自己的语音，然后用文本可以输出自己的专属语音。

@wsbqdyhm 这个 https://github.com/RVC-Boss/GPT-SoVITS

如果不会用的话 B 站搜搜教程，现在应该听多了。

@Tuatara #74 这个我跟你的想法恰好相反，大多数开源的代码不应该都是基于 linux 的吗，所以才会主力用 mac 和云服务器做实验（不管是 github repo 还是 HuggingFace 默认都是 linux 吧），不过我猜你说的可能是 ai 绘画的整合包，这个我确实不是很了解😂