当前 AI 硬件的设计理念——“全掩模版芯片+高 FLOPS+多 HBM 堆叠+带宽优化互连”——与 LLM 解码推理的需求并不匹配。尽管许多研究者专注于数据中心的计算能力优化，但我们建议优先从四个方向改进内存与网络：HBF、PNM、3D 堆叠和低延迟互连。此外，相较于传统指标，聚焦“数据中心容量、系统功耗、碳足迹”的新型性能/成本指标，也为硬件设计提供了新机遇。
http://t.cn/AXbu75DB