《Defeating Nondeterminism in LLM Inference》

LLM 推理中的非确定性难题被突破，来自 Thinking Machines Lab 的开创性研究揭示了真正的罪魁祸首：批次大小变化导致的数值差异，而非传统认知中的浮点运算顺序或并行执行问题。

• 浮点数非结合律导致加法顺序改变产生微小数值差异，但这只是表象。
• LLM 推理的“非确定性”源于服务器负载波动引起的批次大小不一致，影响了计算核的 reduction 策略，从而改变输出结果。
• 传统假设中并行核心的竞争（如 atomic add）并非主要原因，因为大部分推理核并不依赖 atomic 操作。
• 通过设计批次不变（batch-invariant）的核函数，确保无论处理多少请求，数值计算顺序一致，实现真正的可复现推理结果。
• 关键技术涵盖 RMSNorm、矩阵乘法与注意力机制的批次不变实现，尤其是对 FlashAttention 的优化，解决了 KV 缓存分块带来的不稳定问题。
• 实验表明，启用批次不变核后，1000次同样输入的推理输出完全一致，性能损失可控，且为强化学习带来真正的 on-policy 训练可能。
• 该研究不仅深化了对 LLM 内部数值机制的理解，也为工业级推理系统的可靠性和训练一致性指明了方向。

心得：
1. 非确定性绝非随机“噪声”，而是系统设计中批次处理策略的副产品，揭示了深层系统架构对结果稳定性的决定作用。
2. 解决非确定性不仅提升了科学复现性，更是实现更精准强化学习训练的关键，推动 AI 系统向更高质量智能迈进。
3. 传统浮点数运算特性虽不可避免，但通过合理设计批次不变计算核，能够最大化规避其对最终结果的影响，实现工业级稳定推理。

详情见博客🔗 thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

#大语言模型# #非确定性# #批次不变# #数值计算# #强化学习# #AI推理稳定性# #计算机体系结构#