腾讯发布Tequila算法：1.58Bit量化突破大模型“死区陷阱”
腾讯近期推出1.58Bit大模型量化新算法Tequila，通过破解三值量化“死区陷阱”，刷新该领域SOTA纪录，为大模型端侧与CPU部署提供高效方案。
大模型量化是“瘦身提速”核心技术，1.58Bit对应的三值量化将权重设为[-1, 0, +1]，可简化矩阵乘法，适配边缘计算与低功耗场景。但激进压缩易致信息损失，“死区陷阱”尤为关键——0值权重因缺乏梯度信号，难脱离死区且边界累积，形成无效振荡，此前BitNet等方法即便用4T token训练，也难达全精度性能。
Tequila的核心创新是“死区权重再激活”策略，靠三项设计破局：一是用可微量化取代传统STE，为死区权重加动态偏置，让量化函数平滑可微，提供清晰梯度；二是借Transformer输入分布对称性，将死区偏差融入离线偏置，几乎不增推理开销；三是让激活后的权重既作离线偏置，又参与三值矩阵乘法，兼顾信息保留与梯度优化，在保持三值运算优势的同时扩展参数空间。
实测显示，Tequila优势显著：10B token数据集上，多Benchmark性能较现有三值量化提升约3%，有限数据即可逼近全精度；训练损失下降更快，验证死区激活对收敛的作用；CPU推理提速2~3倍，无额外时延；还具备“即插即用”特性，可轻松集成到多数三值量化方案。
该突破解决了三值量化精度与效率难兼顾的痛点，让大模型在手机、边缘设备等低算力平台流畅运行成为可能，为AI规模化落地提供关键支撑。#互联网科技# http://t.cn/AXz66k80