DSP-Charles
26-06-09 13:35 微博认证:数码博主

万亿参数模型跑出1000 tokens/s,还不是小模型、不是实验室数据、没有专用AI芯片,是在通用GPU上实现的。

以前快的模型不够强,强的模型不够快,又快又强的模型不通用。小米这次三件事同时做到了,万亿参数没缩,能力指标没掉,速度还突破了。

你会发现小米的大模型团队,研发成果落地极其迅速。推理效率提升带来的成本下降,还有机会加速模型能力向手机、汽车、IoT场景落地,我挺期待未来前景的[污]

#小米大模型刷新全球最快推理速度#

发布于 四川