Alex Cheema发布了一个用4台M4 Pro Mac Mini集群来跑70B参数大模型的视频，没说多大内存的。现在的速度大概是每秒8个token。应该还可以继续优化。按@karminski-牙医的大语言模型推理专用显存天梯榜，4台M4 Pro Mac Mini集群的理论速度可以到每秒22.75个token。 http://t.cn/A6nQw9tx _新浪新闻

蚁工厂

24-11-11 20:15 微博认证：科技博主

Alex Cheema发布了一个用4台M4 Pro Mac Mini集群来跑70B参数大模型的视频，没说多大内存的。现在的速度大概是每秒8个token。应该还可以继续优化。按@karminski-牙医的大语言模型推理专用显存天梯榜，4台M4 Pro Mac Mini集群的理论速度可以到每秒22.75个token。 http://t.cn/A6nQw9tx

发布于山东