算一次乘法约耗1皮焦耳，把数据搬到计算单元跟前却要约1000皮焦耳——这组来自谷歌首席科学家Jeff Dean的对比，正是“内存墙”卡住高端芯片算力利用率的直观写照。
一、内存墙的本质：算力跑太快，喂数据跟不上
定义：内存墙指内存性能严重限制处理器性能发挥的现象，1994年由科学家预测并命名。
根源：过去二十多年，处理器性能年均提升约55%，而内存性能提升速度仅约10%，长期累积导致存取速度严重滞后于计算速度。
AI时代加剧：AI加速器计算性能每两年增长约3倍，而HBM发展速度不足每两年2倍，差距进一步拉大。
二、算力利用率被“搬运费”吃掉
能量账悬殊：芯片内做一次乘法约1皮焦耳，从片上SRAM搬运一个操作数到乘法器却可能耗费约1000皮焦耳，搬运能耗是计算本身的千倍量级。
批处理成为“赎买策略”：若批大小为1，等于为有用计算支付约1000倍能量；把256个请求攒成一批，参数搬运一次摊薄到每次乘法，搬运能耗降至约3.9皮焦耳。
CPU侧更极端：传统CPU从外部DRAM搬一次数据，能耗比做一次算术运算高出约6400倍，根源是搬运数据的金属连线比算术单元内部连线长了几个数量级。
三、大模型推理把墙推到了舞台中央
KV缓存膨胀：自回归解码每生成一个Token都要回看历史上下文，KV缓存越攒越多，GPU显存放不下就得往外卸，而外部存储的带宽和延迟与本地显存存在数量级差距。
计算与存储增速剪刀差：服务器峰值浮点算力每两年增长约3倍，DRAM带宽每两年仅增长1.6倍，互连带宽仅1.4倍。
缓解方向：近存计算通过先进封装把计算与存储物理拉近，存算一体则试图让数据在存储处直接计算，两者分别对应“缩短搬运”和“消灭搬运”两条路径。