老法师今天不上班
26-09-17 08:17

小米 MiMo-V2.6 正在直播进行强化学习

翻译:
沉默了将近半年。我们把这段时间都用来研究一个问题:强化学习(RL)究竟还能扩展到什么程度。

MiMo-V2.6 目前正处于 RL 训练过程中。我们主要扩展了三个方面:
第一,计算规模。现在每一步大约处理 20 亿 token,包含 1568 个 prompt × 16 次 rollout,并采用全异步执行。
第二,环境和 harness。我们实现了多任务的 agentic RL,并且可以在同一次训练中混合使用多个不同的 harness。
第三,grader 的计算规模。我们使用了 agentic 的组内信用分配(in-group credit assignment),奖励信号同时基于测试用例和 rubric(评分标准)。接下来的几周里,我们会逐步把这些技术细节开源出来。

RL 训练过程正在实时直播:mimo.xiaomi.com/rl/
原文:
Nearly half a year of silence. We spent it studying one problem: how far RL can scale.

MiMo-V2.6 is in the middle of its RL run right now. Three things we scaled: compute (~2B tokens per step, 1568 prompts × 16 rollouts, fully async), environments and harnesses (multi-task agentic RL, mixed across multiple harnesses in one run), and grader compute (agentic in-group credit assignment, with test-case and rubric-based rewards). We'll open-source the details piece by piece over the coming weeks.

Streaming the run: mimo.xiaomi.com/rl/

发布于 福建