AI 开发时代， APPLE MAC 落后了

yidinghe

245 天前

苹果的产品设计过于强调通过用户体验来驱动，最终导致技术全部为体验服务，为了独特的体验而造成硬件技术的封闭。

Morriaty

245 天前

1. 只用 mac 开发，使用 remote interpreter 运行
2. 本地开发、本地运行，调用各大平台 LLM API
3. 再有，model.to("mps") 小模型也能玩

liprais

245 天前

说的好像 nvidia 的游戏卡有多大显存似的

mumbler

245 天前

本地跑大模型，96G 内存的 mac 是唯一能跑 llama3 70B 的

mengdu

245 天前

苹果只想做高利润产品。

wequart

244 天前

@mumbler 64G 也可以跑

LuckyLauncher

244 天前

我不觉得可用的 AI 产品是家用级别的显卡可以搞定的
你要是玩玩当我没说

shinsekai

244 天前

为何 AI 开发没有出现像 vulkan 这种跨平台的

oisc

244 天前

MLX 和统一内存了解一下

ShadowPower

244 天前

@mumbler 能跑其实很容易，只是跑得快不快……
用 cpu 就能跑，而且也有 1.2~1.4token/s

chendy

244 天前

一来真正干 AI 开发的人没多少
二来正经干 AI 开发的人都用服务器不用 PC
三来 APPLE MAC 除了干 APPLE 是刚需其他方面谈不上领先

Code00911

244 天前

MAC 也就在自己小圈子玩玩

YooboH

244 天前

你是从业者吗？搞深度学习的我就没见过本地跑的，本地跑只能是初学者玩票性质的，哪怕你 4090 也没用啊，不是速度的问题，是显存完全不够。更别说这还只是推理，你要是训练的话怎么可能用本地机器，全部都是服务器，实验室里我就没见过本地部署的，要么实验室里给的服务器，我么云服务器厂商像 autodl ，企业的话就更不可用自己的小破电脑了了

ShadowPower

244 天前

@LuckyLauncher 除了参数量很大的 LLM 以外，大多数东西用消费级显卡还真能搞定。
很多生产力任务都已经用上了，比如：
高质量视频插帧、视频降噪、视频超分辨率、SDR 转 HDR 、光追渲染加速（少量采样+AI 预测最终结果）
Stable Diffusion XL 也达到了生产可用的程度，当然，没达到“能直接取代人”的程度……

娱乐方面也有：
同上，视频插帧、超分辨率等，但也可以运用于实时游戏中，例如 SDR 游戏画面转 HDR （ Windows AutoHDR ）、游戏超分辨率（ DLSS 2 ）、游戏插帧（ DLSS 3 ）、优化光追效果（ DLSS 3.5 ）

这些技术虽然有传统算法实现的替代方案，但是质量不如基于神经网络的……

还有很多不用显卡就能搞定的，例如歌声合成（像 Synthesizer V 这样的软件），语义分割，光学字符识别，语音识别等等。

最大的开源端到端的语音识别有 Whisper ，只要消费级显卡就可以跑了。

用不那么大的 LLM （~13B ，量化以后可以用消费级显卡跑）跑文本翻译之类的任务，也能满足不少需求。

如果是指训练模型，公司就有用 3090 、4090 来训练的模型，做下游任务的微调还真能用。

yzbythesea

244 天前

op 平时是做 ML 的吗？

YooboH

244 天前

"大部分的 GPU 服务器也是 linux 或 windows" 也是很奇怪，没见过 windows 当服务器的，windows 比 linux 有任何优势吗

lithiumii

244 天前

你要是说云端的 AI 训练和推理，那苹果妥妥落后了。但首先苹果就不做云服务的硬件，其次除了英伟达所有人都落后。

你说 AI 开发，你要不要看看 OpenAI 纪录片里大家都用的啥电脑？正经训练谁跑本地啊。

再说个人玩票性质的本地 AI 开发，如果你的需求是把大模型在本地跑起来，苹果那金贵的统一内存不仅很有性价比，而且很现实。24G 以上的 N 卡没有便宜的，24G 及以下的卡做多卡平台的体积、功耗、噪音也不是人人都能接受的。软件上

lithiumii

244 天前

@lithiumii 软件上 mlx 当然不比 CUDA ，但是比一比莫名其妙的 rocm 不知方便到哪里去了

lithiumii

244 天前

@YooboH 有句讲句 Windows 服务器挺多的，市场占有率可能有 20%，不过带 gpu 的 ai 服务器就不知道了

gouflv

244 天前

你自己也说了，场景就是新手 “跑一下试试”
正经做事的，谁还在本机呢