腾讯发了张 Sherry 量化方法的技术信息图，介绍如何把一个拥有 7700 亿参数的 MoE 模型从约 1.5TB 的 BF16 权重压缩到 214GB~
发布于 山东
蚁工厂
腾讯发了张 Sherry 量化方法的技术信息图，介绍如何把一个拥有 7700 亿参数的 MoE 模型从约 1.5TB 的 BF16 权重压缩到 214GB~