M5 Ultra 最大支持依然是 512G RAM的顶级规格配置 ,内存宽带可以达到1.2TB / S的运行速度,相比 M3 Ultra 提升了 50% 。在配置了 512GB内存下,4-bit量化约可跑600-700B参数模型 ,直接可以端侧部署一个 DeepSeek R1 671B的本地大模型。处理 AI 任务的图形处理器峰值计算性能相比上一代 M3 Ultra 提升最高可达 4.5 倍 。
果子是想明白了,也看清楚方向了,Apple 开始认真对待本地的端侧 AI 硬件发展路线了,Mac 产品完美的吃到了这一波AI人群的本地硬件部署的红利。
多台Mac Studio 通过 Thunderbolt 5 + RDMA 组成集群,这种分布式 AI 推理性能最高可以提升到单机的约 3 倍左右。(图3-源自互联网),甚至之前M3Ultra的热销可能都和RDMA集群本地大模型有关系。
发布于 江苏
