说一个最近的能体现老黄行业洞察力的例子，24年英伟达首次发布nvl72机柜，并称这是针对推理专门优化的架构。但是当时其相对于同等卡数的传统8卡架构，无论推理还是训练，优势都有限，价格却贵了一倍，还得强制绑定英伟达生态，并从x86切换到arm。所以一开始大部分厂商并不感冒，依然以采购传统8卡架构为主。但是之后发生了3件事，让nvl72的推理效率开始远远甩开传统8卡架构：

1.强化学习在训练中成为算力消耗的绝对大头，强化学习流程上属于训练，但是对算力特性的需求却更接近推理。也就是说广义上推理需求占了算力总需求的大头。同时绝大部分云开始使用pr­e­f­i­ll与de­c­o­de分离的架构来做推理。

2.ag­e­nt时代上下文越来越长，kv取代权重成为显存容量的主要消耗者。

3.绝大部分厂商开始研究各种稀疏注意力架构，使得kv的读取率大幅降低，从ds3.2时代的100%，到ds4时代的20%左右。存储与读取不再对称，存在hbm里面的kv只有少部分会在计算中被读取。

这3个条件中的任何一个不满足，nvl72相对于8卡的优势都是不成立的，可他们偏偏在接下来的两年内都先后满足了。而nvl72的设计工作应该早在23年就完成了。23年ch­a­t­g­pt刚发布，就要预料到后来这几个趋势，何其困难！

还有一个反面例子，是23年之后，DSA概念炒得很火，大部分其他厂商都开始走DSA路线企图通过专门为AI优化的特定架构对英伟达弯道超车。但是老黄一直对DSA不感冒，坚定不移走GP­G­PU的通用路线。后来的发展证明了，DSA就是个大坑，跑分好看，实际一用各种不适配。基于该路线的卡基本卖不动。

正是因为能精准判断，哪些硬件需求在未来是会被软件层面解决的，哪些硬件需求是未来软件层面解决不了的，哪些硬件瓶颈解决了，可以让软件层面有更大发挥空间。所以$英伟达(NV­DA)$的性能才能把同行越甩越远。