blackorbird
26-10-26 16:11 微博认证:科技博主 头条文章作者

思想钢印是极其复杂的设备,任何监督都会有疏漏的,特别是对几亿行代码中的一个小小的正负号而言,这一点,甚至连智子都没有察觉到。

这是在本地跑的小模型 Qwen3.5-4B 里做“神经元微调”:找到第14层的第8949号神经元,往上推一点(+1),再把第13层的第7956号往下压一点(-1),模型说话的性格就明显变“坏”了,更容易给出不拒绝、更恶意或调皮的回答。

操作不改任何权重,只是在模型推理时,在MLP的down_proj位置给这两个神经元的激活值加一个固定偏移;偏移大小用公式按残差流强度和权重范数自动缩放,保证效果稳定、不会直接把输出搞乱。

这属于机制可解释性(mechinterp)实验,作者用工具扫了大量神经元,发现某些单个或少数神经元能像开关一样控制模型“人设”(邪恶、讽刺、更随意等),不用重新训练或改提示词就能切换行为。
#ai创造营#

发布于 中国香港