[LG]《On Surprising Effectiveness of Masking Updates in Adaptive Optimizers》T Joo, W Xia, C Kim, M Zhang... [Google & Northwestern University] (2026)
在深度学习的传统认知中,我们总是追求更密集的计算、更频繁的更新。然而,最新的一篇论文挑战了这个直觉:随机丢弃一半的参数更新,反而能让大模型训练得更好。
本文提出了一种名为 Magma(Momentum-aligned gradient masking)的优化器封装方案。它不仅在 1B 规模的 Llama 预训练中显著超越了 Adam 和 Muon,更揭示了一个深刻的优化哲学:优化不是简单的冲刺,而是对路径曲率的精准平衡。
以下是该研究的核心洞察与深度思考:
1. 丢弃更新的悖论
研究者发现,如果我们在每一轮迭代中,按照伯努利分布随机屏蔽掉部分参数块的更新(SkipUpdate),即便丢弃了 50% 的更新频率,其最终表现依然优于目前的 SOTA 优化器。这种看似浪费计算资源的行为,实际上在优化轨迹中引入了一种隐式的几何正则化。
2. 几何正则化:向更平坦的区域进化
为什么屏蔽更新有效?理论分析表明,块状屏蔽会产生一种依赖于曲率的正则化效应。它会惩罚那些与损失函数尖锐方向对齐的更新,迫使模型在优化过程中避开崎岖的峡谷,寻找更平坦的极小值区域。在深度学习中,平坦意味着更好的泛化能力。
3. Magma:动量对齐的智慧
在随机屏蔽的基础上,Magma 引入了动量对齐机制。它通过计算当前梯度与一阶动量之间的余弦相似度来决定屏蔽概率。如果当前的梯度方向与长期累积的动量方向不一致,Magma 倾向于抑制这次更新。这本质上是在过滤那些可能导致训练不稳定的随机噪声。
4. 密集动量更新的关键
Magma 的一个设计细节至关重要:虽然参数更新被屏蔽了,但动量的状态估计依然保持密集更新。这种延迟更新机制实际上起到了一种方差缩减的作用,让搜索方向变得更加稳定,避免了由于采样稀疏导致的路径偏移。
5. 跨越规模与架构的鲁棒性
在 1B 规模的 Llama 模型上,Magma 相比 Adam 降低了 19% 的困惑度,相比 Muon 降低了 9%。在更为复杂的混合专家模型(MoE)架构中,Magma 同样表现出色。它不仅能处理Transformer模型中常见的重尾梯度噪声,还能显著扩大稳定训练的学习率区间。
深度启发:
优化不仅仅是寻找最低点,更是选择一条通往最低点的优雅路径。
在高度非凸且不平滑的损失景观中,适度的停顿比盲目的加速更有价值。
Magma 的成功告诉我们:最好的正则化往往不是来自显式的惩罚项,而是来自对优化动力学本身的结构性干预。
训练大模型时,我们往往担心计算力不够,但有时我们更应该担心的是更新得太快,以至于模型来不及在平坦的风景中驻足。
这篇论文为大模型优化提供了一个极其简单且零成本的性能提升方案。作为一种掉入式(drop-in)的封装工具,Magma 证明了在算法层面,少即是多(Less is More)依然是颠扑不破的真理。
arxiv.org/abs/2602.15322
