赛博逐梦
26-09-18 00:11

小米公开了大模型的 RL 训练实时过程,一小时花费 3 万美元

小米这次把大模型训练过程直接摆到网上了。

罗福莉 9 月 17 日凌晨分享了 MiMo-V2.6 的 RL 训练页面,最先引起大家讨论的不是跑分,而是成本:按页面某个时点的速率折算,一天约 74 万美元,一小时约 3.1 万美元。

以前总听人说“大模型训练很烧钱”,但其实没什么概念。这次把训练进度、Token、评测、累计成本这些数据实时展示出来之后,一下就直观了。

不过这里也要说清楚,这次展示的是 MiMo-V2.6 的 RL 后训练,不是从零开始预训练一个大模型。罗福莉提到,他们这半年主要就在研究一个问题:RL 到底还能扩到多大。

小米确实是懂流量的,把原本很技术、很枯燥的训练过程做成大家都能围观的页面,成本数字还会实时往上涨,很难不让人多看两眼。

但我的态度也比较简单:

只要是真金白银花在研发上的行为,我觉得都应该支持。

最后还是看结果。一天几十万美元烧下去,MiMo-V2.6 这一轮 RL 最后到底能换来多少能力提升,这个更值得继续关注。

发布于 浙江