瑞银分析师在参加全球顶级半导体架构会议Hot Chips 2026之后指出：模型参数和KV缓存持续膨胀，芯片竞赛已从"拼峰值算力"转向"拼内存容量、带宽和扩展效率"。

谷歌TPU 8i专为推理设计，384MB片上SRAM、288GB HBM3E、19.2Tb/s片间互联——推理场景（MoE、Agent解码）的瓶颈已从"算不够"变成"搬不动"，内存带宽比纯算力更卡脖子。TPU 8t则面向训练，9600芯片/Superpod、121 EF FP4算力、2PB共享HBM，由博通代工。训练和推理的硬件需求差异已大到必须两套独立架构。

全行业都在拆这堵"内存墙"：三星LPDDR5X-PIM把MAC塞进DRAM单元，带宽8倍于普通LPDDR5X；CXL内存池化让10万token长上下文解码提升3.35倍；d-Matrix 3D-DRAM单卡100TB/s带宽；Groq LPX干脆弃用HBM、纯SRAM解码。Cerebras甚至把3D DRAM叠上晶圆级SRAM。

谷歌用TPU 8i表态"推理是数据搬运问题"，而PIM、CXL、3D-DRAM、SRAM-only则是全行业用不同路线说同一句话：内存架构才是下一代AI芯片的胜负手。博通守着训练Superpod，但决定这场仗能打多久的，是算力下面那层内存堆栈。