珠猪美梦日记
26-09-18 12:44 微博认证:动漫博主

#小米罗福莉称沉寂半年钻研一件事#短视频口播加长版

沉寂近半年,小米MiMo大模型负责人罗福莉终于带来重磅消息!这段时间,团队一直在死磕一个核心命题:强化学习,到底能扩展到多远。

这次最震撼的操作,就是全程直播新一代MiMo-V2.6的强化学习训练全过程,把大模型训练背后高昂的成本,毫无保留对外公开。
本次实验包含MiMo-V2.6-Pro、MiMo-V2.6-Flash两个版本,实时看板直接展示训练进度、Token消耗、评测指标,还有实打实的烧钱数据。两款模型同步训练,每小时合计成本高达3.1万美元,折合人民币超20万,训练至今累计投入已经数百万美元,直观展现大模型研发的昂贵门槛。

罗福莉介绍,MiMo-V2.6正处在强化学习中段,团队从三大方向做大规模拓展:扩容海量计算资源、搭建多任务智能体训练框架,同时升级评估奖励机制。不同于行业大多只公布最终模型结果,小米直接开放训练实时状态,训练分数起伏、GPU故障、参数波动,所有人都能在线围观。

她还透露,未来几周会逐步开源本次实验的相关细节。在大模型赛道竞争白热化的当下,这种把训练过程直播出来的做法十分罕见,也让大家看到国内团队在强化学习方向上的硬核探索。

#话题
#小米MiMo #MiMoV2.6 #罗福莉 #大模型 #AI强化学习

要不要再来一个精简短版本? http://t.cn/AXO93ihJ

发布于 四川