#华为突破冯诺依曼单机架构#
华为宣布这个事,意思是说:
以前是几万张卡"拼"成一台大电脑,现在是让百万张卡像一台电脑那样对等协作。
官方说法是:全新计算架构 Peerium,突破图灵范式、提出 Nested BSP 模型、突破冯·诺依曼单机架构、颠覆主从架构,实现百万级处理器成为一台更大的计算机。
关键互联技术是灵衢总线,基于开放协议,把 CPU、NPU、内存、SSD、网卡和交换机连在一起。
华为还透露,目前已有 25.6 万张卡组成的超级节点在 Peerium 架构下完成部署。
现在大模型训练早就不靠单卡了,靠的是把几万甚至几十万张卡连起来。
但卡一多,通信就成了瓶颈,带宽、时延、同步开销全都往上翻。
所以现在物理层面竞争的核心,已经不是单颗芯片多快,而是互联效率。
但"突破冯·诺依曼"这个说法,只能说先看看。
冯·诺依曼谈的是单机内部存储与计算分离的结构。
华为讲的是把这种单机架构的边界扩大,让跨节点的内存和存储像本地一样被寻址。
方向没错,但说"突破了冯·诺依曼"可能不那么恰当。
原文应该是【拓展】的意思。
不知道媒体是没翻译明白,还是想造个大新闻。
发布于 北京
