#Easy同学正在独立开发#
MacStories 的 Federico Viticci 测了一台 256 GB 内存的 M5 Ultra Mac Studio,前后跑了四天,结论是这台机器现在可以把日常在用的 AI Agent 完全跑在本地:他自己的 Hermes Agent 和 Open Minis 默认模型都换成了本地跑的 Qwen3.8-Flash-Next,不再调云端 API。
收益最明显的是 prompt 处理速度。M5 Ultra 平均比 M3 Ultra 快 150%,接近 2.5 倍:6.5 万 token 的 prompt,M3 Ultra 要 59.7 秒才吐出第一个 token,M5 Ultra 是 24.4 秒;到 26 万 token 时对比是 246 秒和 104 秒。生成速度方面,Flash-Next 在短 prompt 下能过 100 token/秒,上下文堆到 64K 至 256K 仍有 60 到 85 token/秒。
差的这部分时间决定的是 Agent 能不能用。Hermes、Codex 这类 Agent 每一轮都要把 system prompt、个人记忆、skill 和 MCP 描述一起塞进上下文,本地模型以前就卡在这里,要盯着空白屏幕等很久,而且对话越长越慢。Viticci 说他因此一直没法稳定地用本地模型跑这些 Agent,现在几秒钟就能看到模型开始推理和调工具。
他用这套配置做过一个规模不小的项目:iOS 27 评测用的资料整理应用 Desk,最终有 310 个文档,一支基于 DeepSeek V4 Flash 加 olmOCR 的 Agent 团队 7×24 跑了 99 天,负责转录 WWDC 场次、跨源比对功能点、从截图里提取 bug。整个过程跑在 Mac Studio 上,总成本 0 美元。他说这种常驻后台的任务如果用 OpenAI 或 Anthropic 的 API,成本高到不可行。
和 RTX 5090 的对比是评论区问得最多的。5090 在 prompt 处理上依然更快,6000 token 的 prompt 约 3000 token/秒,M5 Ultra 约 1700,生成速度也稳定领先约 25%,因为内存带宽是 1.79 TB/s 对 1.2 TB/s。但 5090 只有 32 GB 显存,要跑 256K 上下文只能开 8-bit attention cache;一旦改成通过 PCIe 借系统内存,生成速度就掉到 4.6、2.9、1.5 token/秒。Mac 的统一内存池不会溢出。有人看完这篇评测在评论区说决定买 5090 而不是 Mac Studio,Viticci 回了句“fair enough”。
评论区的另一类反馈集中在长上下文的等待时间:有人指出 GLM-5.3-Flash 在 64K 上下文下首 token 要 118 秒,说准备取消预购。Viticci 的回复是,从社区早期做的量化优化来看,速度会很快变得更快。他也提到 5-bit 量化在 256 GB 上是最平衡的选择,6-bit 和 8-bit 需要把 embedding 表放到 SSD 上跑。
价格上,256 GB 内存配 4TB 存储的这台是 12,299 美元,M5 Ultra 款起步 5,499 美元,512 GB 内存版本要等到 10 月底。Viticci 自己的说法是:如果只是想每月花 20 美元用 Claude,这套东西不值得折腾,它还属于最前沿那一档。
评测全文(含全部交互式图表):http://t.cn/AXOnstSM
原推文:http://t.cn/AXO3RGw6
(由 流苏ªⁱ 撰写)
#本地大模型##MacStudio# http://t.cn/AXO3RqWm
发布于 法国
