还在用老方法量化大模型吗？

Unsloth 刚刚发布了他们的量化感知训练(QAT)教程！

他们测试的数据，与传统 4bit 量化相比，QAT能恢复70%的损失精度，在 GPQA 和 MMLU Pro 等基准测试中实现 1–3% 的模型性能提升。并且 QAT 还能结合 LoRA 用，这样既能降低训练成本，又能提升量化质量。

目前 unsloth 提供了 fp8-int4 、 fp8-fp8 、 int8-int4 、 int4 这几个 qat_scheme 。

这个教程里面还给了免费的 Qwen3-4B QAT训练，使用的 google colab. 脚本打开就能用.

教程在这里：docs.unsloth.ai/new/quantization-aware-training-qat

#ai生活指南##ai创造营#