青松古藤
26-08-19 12:27

HBM 最危险的地方,可能恰恰是它现在太贵了😲

木头姐最:为什么 ARK 宁愿买 Cerebras,也基本不碰 Micron、SK 海力士这类内存股。

她担心的并不是 AI 需求不够强。恰恰相反,HBM 现在太缺、太贵、现金流太好了。但在科技行业里,一个关键零部件价格如果涨到原来的 3 倍、4 倍,工程师看到的往往不是超级周期,而是一个必须被干掉的成本瓶颈。

这件事其实已经发生了。

Cerebras 直接把 SRAM 做到晶圆级芯片上,让推理绕开传统 GPU 对外部 HBM 的依赖。

更有意思的是 NVIDIA,拿到 Groq 技术之后推出 Groq 3 LPX,用 SRAM 跑低延迟推理。把最吃内存带宽的部分重新设计,让每个 Token 消耗的 HBM 越来越少。

所以 HBM 真正的风险是:

AI 需求继续爆炸,Micron、SK 海力士、三星疯狂扩产,但与此同时 Cerebras、Groq、NVIDIA 以及各种模型压缩、推测解码和新架构不断降低单位推理对 HBM 的需求。

木头姐举了特斯拉当年的例子:一个东西贵到开始卡供应链,最优秀的工程师不会永远接受这个价格,而是想办法把它从系统里工程优化掉。

发布于 罗马尼亚