本质还是我以前说的，HBM太贵了，内存成本已经达到英伟达的容忍上限，不是砍单就是通过重新设计节约用量。

英伟达提出AI内存全栈协同设计方案，Vera Rubin平台每GPU内存容量仅增约3%，推理吞吐量提升最高30倍。

英伟达发布文章称，随着AI模型规模扩大、上下文窗口延长以及智能体应用普及，GPU内存压力持续上升，HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加GPU内存容量。 具体来看，英伟达通过NVFP4低精度格式压缩模型权重和KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多GPU分布式部署释放HBM空间。