有人炼了 Qwen3 8B 的 BitNet 版本！Qwen3-8B-BitNet 这个模型是基于 Qwen3-8B 进行微调，使用的数据集是 Prime Intellect 的 SYNTHETIC-1 约 1B 个 token，并在每个线性层的输入中添加了 RMSNorm。所有线形层（包括 LM Head）都已转换为 BitNet。所以这个模型被压缩得非常小，只有2.5B 左右。不

有人炼了 Qwen3 8B 的 BitNet 版本！

Qwen3-8B-BitNet 这个模型是基于 Qwen3-8B 进行微调，使用的数据集是 Prime Intellect 的 SYNTHETIC-1 约 1B 个 token，并在每个线性层的输入中添加了 RMSNorm。

所有线形层（包括 LM Head）都已转换为 BitNet。所以这个模型被压缩得非常小，只有2.5B 左右。

不过作者并没有放出跑分，所以投入生产前建议自己测一下。

地址：huggingface.co/codys12/Qwen3-8B-BitNet

#ai创造营# #AI生活指南#

发布于日本