FP4 训练终于来啦！

之前 GPT-OSS 开放权重模型就传出是 FP4 训练的，但是 OpenAI 并未公开训练方法，结果 NVIDIA 把 NVFP4 训练方法放出来了，我刚看了放出的 ipynb, 给大家总结下：

方案主要使用 NVFP4, 是个4位（E2M1格式）的浮点表示，它采用细粒度的缩放（granular scaling）来保持动态范围，每个16个元素的小块（block）共享一个缩放因子（scaling factor）。

然后训练方案使用随机舍入（Stochastic Rounding），在将梯度量化为NVFP4时，使用随机舍入以避免量化引入的偏差。然后对于权重张量，采用16x16的二维小块共享一个缩放因子。然后使用 Random Hadamard Transforms 让张量分布更接近高斯分布，从而更容易在NVFP4中精确表示。最后几层使用更高精度来保证模型质量，因为大模型最后几层对量化很敏感。

不过，NVFP4是由NVIDIA Blackwell架构引入的，所以这意味着至少要有B100才能玩转.

教程地址：github.com/NVIDIA/TransformerEngine/blob/main/docs/examples/fp8_primer.ipynb

#ai创造营# #ai生活指南#