Meta和苹果联手搞了个大的,Meta开放了Muse Spark Open权重,两台512GB M5 Ultra Mac Studio可本地跑
通过NVFP4量化将816B模型权重压缩至约537GB,再利用MLX分布式推理和Thunderbolt RDMA高速互联,让两台各配备512GB统一内存的M5 Ultra Mac Studio协同推理
官方给的数据,双机张量并行生成速度约25 Token/s,比双机流水线并行快约59%
速度不算快,不过两台桌面设备运行816B,具备了基本可交互的生成速度
Muse Spark Open的几个参数:816B/42B激活MoE(256个路由专家)、1M上下文、原生多模态,主攻编程、长程Agent任务
权重:http://t.cn/AXljddUX
#MuseSparkOpen##meta最新开源模型#
发布于 美国
