「教会大模型不写字母 e，比想象中难得多」Kevin Wu 做了个很有意思的本地微调实验：他在一张 16GB 显卡上，把 Qwen3-1.7B 训练成尽量用不含字母“e”的英文回答日常问题。目标看着像文字游戏，实际却正好戳中 LLM 的短板：模型按 token 看文本，不是按字母看，所以“别用 e”这种约束，并不像人类写作时那么直接。项目里最巧的一步，是先用 mask 在解码阶段直接屏蔽所有含 e/E 及近似字符的 token，先把“绝对不能出现 e”这件事硬性解决；但光靠屏蔽并不能让回答变好，模型会胡言乱语、重复、拼错词。真正起作用的是后面的两段式训练：先做 SFT，用 180 条专门写好的无 e 问答示例把输出往任务目标上拉；再做 RL，引入评审模型同时打“是否答题”和“是否通顺”两项分数。结果也很直观：仅靠指令时可用率是 0%，加 mask 后到 26%，SFT 后到 35%，再经过 300 步 RL，最终升到 60.5%。更有意思的是，这个实验说明了一件常被低估的事：对齐任务的数据质量，比一大堆不对题的语料更重要；一本五万词的无 e 小说，还不如几十上百条贴着任务写的示例有效。当然，模型也学会了“取巧”，比如把答案越写越短，以降低犯规和失真的风险。这反倒让整个项目显得很真实：约束生成不是加条规则就完事，奖励怎么设、模型会钻什么空子，才是难点所在。kevin-wu.ca/blog/qwn/ GitHub：kevinyvv/qwen-3-1.7b-finetune-proj