不靠反向传播，也能训练 Transformer？

Q Labs 开源了 Noise，一个专门挑战传统反向传播（Backpropagation）的 AI 训练实验平台。

众所周知，现在 GPT、DeepSeek、Qwen 等大模型的训练基本离不开反向传播：计算 Loss，通过梯度找到参数调整方向。

但 Noise 想走另一条路：只通过前向计算，利用扰动、有限差分和误差归因来更新模型参数，不需要反向传播！

更有意思的是，它已经拿出了实验成绩：

在一个 3770 万参数的 Transformer、3000 万 Token 的训练任务上：

🔹 Noise 无反向传播：Loss 3.409

🔹 传统反向传播 + Adam：Loss 3.419

🔹 反向传播 + ANVIL II：Loss 3.340

也就是说，Noise 已经在这个特定实验中略微超过了常规 Adam 基线，虽然还没超过更强的反向传播方案。

项目还设置了三个赛道，分别挑战训练效果、训练速度和自由模型架构，鼓励社区探索新的学习算法。

当然，目前实验规模还很小，远远不能说反向传播要被淘汰了，更不能认为不需要反向传播就一定更省算力。

但这个方向确实值得关注：如果未来神经网络可以不依赖反向传播完成高效训练，AI 的训练范式可能会发生很大变化。

GitHub：github.com/qlabs-eng/noise

#人工智能##开源项目##大模型训练##深度学习#