【神经网络本身就很干净:我们可能误判了“叠加态”】可解释性领域长期认为神经元充满了混乱的叠加态,迫使学界转向用SAE等外挂工具去“解线团”。Nick Cammarata最新长文却给出了相反的观察:当年那些经典的“多义神经元”大概率被误读了,比如著名的“猫与汽车”神经元,底层其实是在识别V字轮廓,是早期的旧架构和观测缺陷放大了混乱。实测表明,从Qwen到万亿参数的Kimi K3,约九成神经元都有明确的主任务,表现出的杂糅大多只是局部概念延伸的“递归泛化”。神经网络内部本来就很有秩序,顺着它自身的回路生态去直接研究,或许远比强行重构一套字典更奏效。already-clean.goodfire.com
发布于 北京
