http://t.cn/AX2245Xq
kimi工程师刘少伟谈为什么Kimi选择了INT4:“个人认为,在LLM的语境下,量化并非传统的“牺牲精度换速度”,原生的低比特量化在param-scaling + test-time-scaling的持续演进下,会成为大模型训练的一个标准范式。”
发布于 山东
http://t.cn/AX2245Xq
kimi工程师刘少伟谈为什么Kimi选择了INT4:“个人认为,在LLM的语境下,量化并非传统的“牺牲精度换速度”,原生的低比特量化在param-scaling + test-time-scaling的持续演进下,会成为大模型训练的一个标准范式。”