HBM之所以必要，有两个原因。

第一个，是容量必须足够大。

尤其是AI正在走向上下文工程、多模态和物理AI，存储器里需要存放的数据量越来越大。我感觉这个容量大概每年都会翻一倍。如果每年翻一倍，十年就是一千倍。

如果要增加存储器容量，传统做法是把半导体里的晶体管和存储单元继续缩小。但现在已经到了非常困难的边界。因为晶体管和存储单元之间会产生干扰，也会有漏电现象。基本上已经接近量子力学边界了，很难再继续缩小。也就是说，容量很难再靠缩小尺寸来增加。

所以我从2000年代初就开始讲，未来的存储器一定会堆叠，也必须堆叠。当大多数人还在设计单层半导体的时候，我们就开始想：我们要把它堆起来。当然，我们主要做的是设计，真正把它实现出来的是三星和海力士。但我们很早就有“必须堆叠”的想法。后来以产品形式出现的，就是HBM。

第二个，是即使容量够大，数据也必须快速供应给GPU。
只有这样，ChatGPT才能快速把文章、文字回复给我们，现在甚至还要生成视频、电影。要提升速度，就必须让数据并行、同时传输。
如果传统存储器像一条八车道高速公路，那么HBM就是1024车道。现在已经到了2048车道，几年以后可能会变成一百万车道。
所以HBM的两个核心特点是：
一是通过堆叠来增加容量；
二是安装“电梯”和“高速公路”，用接近光速的方式，把数据以比传统存储器快一千倍、甚至一百万倍的速度传出去。
这就是所谓的并行结构。这两点也是HBM的核心。