[LG]《Dual Length Codes for Lossless Compression of BFloat16》A Agrawal, A Magyar, H Eswaraiah, P Sheridan... [Google] (2026)

大模型训练与推理的竞赛，本质上是一场关于带宽的战争。当成千上万个加速器协同工作时，网络通信往往成了那个拖后腿的瓶颈。为了突破这一限制，本文提出了一种兼顾效率与速度的无损压缩方案：双长度编码（Dual Length Codes）。

以下是关于这项技术的深度解析与思考。

1. 效率与速度的永恒博弈

在无损压缩领域，哈夫曼编码（Huffman Codes）因其接近熵极限的压缩率被奉为圭臬。然而，它在硬件实现上却面临致命伤：位顺序解码。这意味着解码器必须逐位遍历深层二叉树，延迟与编码长度成正比。在追求极致并行的大模型计算中，这种串行逻辑成了昂贵的代价。

2. 发现 BFloat16 的 50/8 定律

研究人员通过对 Gemma 模型中 BFloat16 张量的深入分析，发现了一个惊人的统计学特征：在 256 个可能的符号中，频率最高的 8 个符号竟然占据了约 50% 的累积概率。这种高度集中的分布为简化压缩算法提供了可能。如果能为这 8 个“常客”提供极短的路径，就能在不损失太多压缩率的前提下，极大提升处理速度。

3. 双长度编码：化繁为简的工程艺术

不同于哈夫曼编码复杂的变长逻辑，双长度编码（DLC）将世界一分为二：
- 核心区：前 8 个高频符号，使用 1 位前缀 + 3 位编码，总长 4 位。
- 普通区：剩余 248 个符号，使用 1 位前缀 + 8 位原始编码，总长 9 位。
这种设计通过一个前缀位直接决定解码路径，彻底告别了深层树遍历。

4. 硬件友好的微型查找表

DLC 的精妙之处在于它对硬件极其友好。编码器和解码器只需要维护一个仅含 8 个条目的微型查找表（LUT）。
- 解码时：看到前缀 0，直接查表取值；看到前缀 1，直接读取后 8 位。
这种确定性的结构让硬件电路变得异常简单，大幅降低了芯片面积和功耗，同时实现了极高的吞吐量。

5. 舍弃 2% 的效率，换取系统的飞跃

从数据上看，DLC 的压缩率为 18.6%，略低于哈夫曼编码的 21.3%。但在工程实践中，这 2.7% 的差距换来的是解码延迟的显著降低和硬件实现的极大简化。这告诉我们：在系统架构设计中，局部最优往往不如全局协同。一个稍微“次优”的算法，如果能消除流水线中的阻塞，往往能带来更高的整体性能。

6. 启发与思考：工程学的平衡之道

双长度编码的成功再次证明，深刻理解数据分布是算法创新的源泉。在大模型时代，我们不仅需要追求数学上的极致，更需要考虑算法在硅片上的“生存环境”。
- 极致的简洁往往比复杂的优化更具生命力。
- 识别并加速“头部流量”（那 50% 的高频符号），是解决复杂系统问题的万能钥匙。

论文链接：arxiv.org/abs/2602.17849