大模型究竟能记下多少知识？Alex Wang从联想记忆与“干扰信号比”切入，把网络结构串成了一条清晰的演进线：基础的外积线性层受限于正交维度，容量仅与键维度相当（如64维仅存64条）；引入最小二乘白化能翻倍；转入MLP后，用ReLU或平方激活压制弱相关噪声，容量呈几何级跃升至数千条；若将压制推向极致，以指数展开便自然引出了自注意力机制——由此跨入随上下文动态扩展的非参数记忆，容量暴增至百万级，结合对数缩放还能稳稳驾驭长文本检索。推演平实且耐人寻味。alexwang.ai /posts/associative-memory/