近期,业界对低精度训练和推理的广泛关注与讨论。在实际的研发过程中,特别是模型训练方面,经验表明浮点数量化方案相比整数量化方案对模型效果造成的损失更小,所以浮点数常常被用作量化训练的类型。这就引出了一些问题:整数类型量化训练的经验能否直接应用到浮点数类型的量化训练任务中?如果不能,浮点数类型又会有怎样的结论?量化训练到底有没有极限? http://t.cn/A6uDfILk

机器之心Pro
25-01-16 21:41 微博认证:机器之心官方微博