超节点时代,后续算力互连需求存在乘数效应
ScaleUp网络存在ScalingLaw,ScaleUp柜间第二层网络会逐渐出现,光+AEC连接多出与芯片1:9的配比需求,交换机多出与芯片4:1的配比需求,相较Scale0ut网络均倍增。
1)英伟达持续扩大Scale Up规模
英伟达正通过两大路径持续扩大Scale Up网络规模,
①提升单卡带宽:NVLink持续选代,NVLink5.0单卡带宽达7200Gb/s;
②扩大超节点规模:Scale Up超节点规模不断扩大,从H100NVL8到GH200再到GB200等NVL72等机柜方案可以提高训推效率,但并不是ScaleUp的上限,NVL72等机柜后续会作为最小的节点(Node)存在,像积木一样在柜与柜之间进-步拼出更大的ScaleUp超节点,届时需要光连接等进行通信。
2)为什么需要更大的Scale Up网络
TCO、用户体验、模型能力拓展。
随着单用户每秒消耗的Token数(Tokens Per Second,TPS)提高,包括NVL72在内的现有服务器单卡性能都会逐渐坍缩,在用户体验持续提升、模型能力拓展的趋势下,单用户TPS必然增长,采用更大规模的Scale0ut能提高单卡有效性能,TCO也更具经济性。
Scale Up规模与预期单用户TPS、单卡实际性能间存在Scaling Law,前者会随后者非线性增长。
3)怎么组建更大的ScaleUp网络
网络结构层面,在柜间搭建第二层$caleUp交换机;端口连接层面,光与AEC有望在第二层网络中并存,
按照最新的NVLink与IB标准测算,1颗GPU需要9个额外的等效1.6T连接,为Scale0ut网络的3-4.5倍,每4颗GPU需要额外1台交换机,为Scale0ut网络的7.5-12倍
4)核心公司
Scale Up需求有望持续拓展,带来倍增的网络连接需求,光连接、AEC、交换机等环节都有望深度受益,相关标的-
光互连:中际旭创,新易盛,天孚通信,光库科技长芯博创源杰科技,长光太辰光:华芯
铜互连:中际旭创,兆龙互连
交换机:锐捷网络,盛科通信AsteraLabs(美股,后同),博通,天弘科技,#大盘##财经##股市#
发布于 湖北
