#华为突破冯诺依曼单机架构#
……
华为这次确实做成了一项很硬的工程:通过Peerium架构和“灵衢”UnifiedBus,将CPU、NPU、内存、SSD、网卡纳入统一协议,让最多4096张昇腾卡在一个超节点里,尽量像一台大型计算机协同工作。
但估计营销部门看完,觉得“4096张卡像一台机器”还不够震撼,于是顺手把冯·诺依曼也请上了热搜。
需要说清楚的是,统一内存寻址主要发生在超节点内部。51.2万卡乃至百万卡集群,仍要依靠分层网络连接,并没有几十万张卡突然共用一个“大脑”。Nested BSP也不是刚从华为实验室里长出来的新物种,“替代SPMD”、RTT从7微秒降到2微秒之类的说法,更要先对齐概念和测试口径。
真正值得重视的,是华为把统一寻址、对等互联、NPO光互联和超大规模集群装进了一套系统级产品。这样的工程能力已经足够硬核,非要再戴一顶“改写计算理论”的帽子,多少有点像造出航母以后,宣布重新发明了浮力。
至于能不能挑战英伟达,热搜请来多少位计算机祖师爷都不算数。真实训练效率、软件生态、稳定性和每Token成本,才是坐在评委席上的四个人。
冯·诺依曼暂时不用起身,先等百万张卡跑完一场不加剪辑的训练吧
发布于 陕西
