思想钢印是极其复杂的设备,任何监督都会有疏漏的,特别是对几亿行代码中的一个小小的正负号而言,这一点,甚至连智子都没有察觉到。
这是在本地跑的小模型 Qwen3.5-4B 里做“神经元微调”:找到第14层的第8949号神经元,往上推一点(+1),再把第13层的第7956号往下压一点(-1),模型说话的性格就明显变“坏”了,更容易给出不拒绝、更恶意或调皮的回答。
操作不改任何权重,只是在模型推理时,在MLP的down_proj位置给这两个神经元的激活值加一个固定偏移;偏移大小用公式按残差流强度和权重范数自动缩放,保证效果稳定、不会直接把输出搞乱。
这属于机制可解释性(mechinterp)实验,作者用工具扫了大量神经元,发现某些单个或少数神经元能像开关一样控制模型“人设”(邪恶、讽刺、更随意等),不用重新训练或改提示词就能切换行为。
#ai创造营#
发布于 中国香港
