现在买 3090TI 玩 AI 靠谱吗

267 天前
 Tuatara

想入一张显卡研究下 AI 。对比下来觉得要么 3090TI ，要么 4070TIS ，倾向于 3090TI ，因为 24g 显存宽裕一点，照现在模型的发展 16g 担心以后会不够用。16g 跑现阶段的模型大部分时候压力都不大，但比如开个 SDXL+四五个 lora ，估计 16g 也带不动了。

现在的问题是对显卡一无所知😂看到说 30 系默认全矿的，又有说 3090TI 不是矿的。想问下老哥们，3090ti 现在能入吗，能的话什么渠道比较靠谱，合理的价格大概多少？

另外我不玩游戏，实话说如果没有太大的性能差异我是能接受矿卡的，就怕以为是轻度锻炼没想到是深度锻炼，那就不能接受了。。

10950 次点击
所在节点    Local LLM
91 条回复
kenvix
266 天前
@ansor #31 WSL 也是统一内存，但只限软件层面，然后 x86 兼容机的内存和 CPU 离得很远，又受接口带宽限制，导致速度非常慢
muxiaofei
266 天前
请教一下大佬们，如果只是做向量模型来跑模型，以及微调模型，这种需求是买 3090ti 还是 4070 呀
muxiaofei
266 天前
或者说做一个定制化的企业知识库用的模型进行微调需要什么显卡（ CHATGLM2 和 M3E ） 或者笔记本也行。
r6cb
266 天前
@muxiaofei #43 只是知识库就只需要推理就行，显存能放下模型的显卡就够用了。但是微调 CHATGLM2 要多张 A100/A800 级别的 GPU 才干得了
NewHere
266 天前
@Desiree AutoDL 2.XX/h 4090
NewHere
266 天前
@sleepybear1113 统一内存比较吃香，老黄要 80g 的显存得 A100 和 H100 了，mac 可以几万拿下一整套，老黄价格比这贵还只是一张显卡
PeneceaQwQ
266 天前
首先，先建议租一下显卡试一试，说不定吃不满。可以尝试的平台：autodl ，vast.ai

关于矿卡：3090ti 发布的比较晚，而且对矿老板性价比不高，就算挖的话也挖不了多久

关于矿卡的危害：问题就是不稳定。连续高温满载工作。首先显存可能先炸（如果是 3090 到手建议换显存），硅脂因为高温会渗出硅油，除此之外还可能会有各种各样的小问题。可以捡，但是做好心理预期，建议观摩一下靓女维修佬的视频，做好功课再说。捡到个人买家也不是不可能（）
gransh
266 天前
@plasticman64 问题 op 明确了需求是 SDXL+四五个 lora ，你哪里看到有 LLM 了？
gransh
266 天前
这楼我没看完都不知道你们能吵这么多关于 mac 的，SDXL+lora 几个大字看不见疯狂辩论 LLM ，绝绝子
hunk
266 天前
@Desiree 还有其他的很多，一时找不齐了。
https://www.autodl.com/home
https://openbayes.com/gear/
tr1v1z
266 天前
@BernieDu 可能只有你不在乎时间
muxiaofei
266 天前
@r6cb 感谢大佬的回复，我现在如果是想用 llama3 进行中文微调的话（其实我也只是一个小白），大概需要什么样子的显卡呢？ 目前有一台 3060 12GB
muxiaofei
266 天前
@1138743695 您好，想了解下，如果租用算力来微调自己的模型，这样是可行的吗？
ljyst
266 天前
ai 说到底还是 cpu 语法套模版。玩的是硬件.没意思
neteroster
266 天前
@muxiaofei

中文微调推荐 Qwen 系列，llama3 预训练估计没多少中文语料。

微调分不同类型，全量，LoRA ，QLoRA 等，最近也有一些新兴技术。例如，llama3 8b 用 LoRA 基本 24G 能满足，但是全量微调这个大小则是天方夜谭。部分任务下 LoRA 等技术和全量微调效果接近甚至更好，但是也有很多任务是不及全量微调的，需要实际测试。

租算力完全可行。

另外，知识库不推荐微调，先试试 RAG 。
locoz
266 天前
玩图片生成买个二手 3090 玩没啥问题，无论是要长期放着跑还是玩腻了打游戏都可以，不过 3090 会很热、风扇很吵，这个可能要考虑一下。

如果明确只是短期玩玩，使用频率和时长没那么高，那租硬件是最具有性价比的选择，性能又好，实际产生的成本又低，又省事。

吹苹果的看看就得了，拿苹果统一内存跑起来了大模型又怎么样？就那点速度完全不具备可用性。说白了就是个放企业级场景嫌慢、个人场景嫌贵的鸡肋。而且买了高配之后不想玩了干其他事又是纯浪费，想卖二手这过高的配置又不好出手，麻烦得很。
cnevil
266 天前
@WilliamZuo 因为你要是不执著于本地部署的话，你没显卡都能用
HojiOShi
266 天前
现在 5090 都要出了，就算有 3090TI ，别人凭什么把体质好的锻炼少的卡卖给你啊。。。
leconio
265 天前
MacOS 可以跑 llm 呀，有这个示例工程工程 https://github.com/ml-explore/mlx-examples ，有人在 macos 跑起了 32B 的大模型，lora 微调。。。而用 cuda 要 64 显存
leconio
265 天前
但 huggingface 上的大部分模型，开发者只给出 cuda 的例子，除非你特别知道自己在干什么，否则为了生态我还是劝你入英伟达 40 系列显卡

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1041781

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX