风云学会陈经
26-09-18 12:04 微博认证:亚洲视觉科技 研发总监 2024微博年度新知博主 长文原创作者 财经观察官

#华为突破冯诺依曼单机架构#
“突破冯·诺依曼单机架构”这事,技术上怎么回事?其实是解决传统AI服务器集群的大痛点

一般人看了,或赞或贬,虽然站了队,但基本是懵逼。这事技术难度有点高,我来通俗解释下。

华为这次发布的叫“Peerium架构”,如果直接说底层技术,就没几个人看得懂,也没兴趣了。所以就用了一些学术上的形容,如“突破冯·诺依曼”。最好的办法,还是直接解释技术,不受词汇影响。

首先,这事根本上是因为,传统AI服务器集群有大问题,有痛点!把这个说明白,事情就好多了。

传统AI集群,肯家有很多台服务器,“集群”就是用网络连起来。这里关键是,每台机器是一个“冯·诺依曼结构单机”(CPU、GPU、NPU,可以理解为算力),机器之间靠以太网、InfiniBand之类的中速、高速网络传递消息。冯·诺依曼结构也不用去太纠结,就是大家每天都在用的CPU用内存跑程序,有并行,很多加一起算力挺大。

那痛点是啥呢?通信开销!算力再牛逼也被通信卡。传统服务器系统中,机间通信可消耗超过40%的训练时间。万卡、十万卡集群里,大量时间花在数据打包、协议转换、经CPU/网卡中转上,GPU跑计算不是系统性能瓶颈。这个已经说了很多年了,有很多迹象,知道的人不少。就好比打大型网游,网络卡了,用户游戏主机性能再牛体验也不行。

现在大模型时代,新出来一个更麻烦的大痛点:编程模型割裂。现在大模型规模都极大了,一个机器肯定放不下,小点的硬盘连模型权重都装不下,使用中产生的中间缓存,更是大得吓人。开发者面对的其实是“分布式系统”,而不是“一台计算机”,不是以前那种对着一个机器编程,很不方便了。模型稍大,就要人工切分,并行效率急剧下降。

本来传统编程开发的人,是美美地对着一个“冯·诺依曼结构单机”编程,写代码、编译、执行、调试,都很方便。结果发现不行了,大模型相关的编程动作得考虑复杂的“分布式系统”,怎么分拆,怎么合并,一大堆通信问题烦死人。

程序员就幻想,能不能我编大模型程序时,还和以前一样,假设有一个超级大、超级牛的单机,不用考虑这些乱七八糟的通信问题,和过去一样方便?

如果这个能实现了,那单CPU、单GPU性能差一些,是不是也能通过“加一起变一个大机器”的办法,弄出很强的性能,满足大模型的训练与推理需求。

华为就是说,可以!在单芯片制程受限的背景下,把“卡数”弄很高,“互联效率”做得很好,就可以用系统架构创新弥补单点性能差距。Peerium就是要实现这个。

所以,官方定义是“基于嵌套并行、统一内存寻址、平等互联实现百万级处理器强扩展”。

平等互联就是“灵衢”(UnifiedBus)总线,这是关键,是整个架构的物理底座。灵衢是一条基于开放协议的高速总线,可以无限制扩展地连接 CPU、NPU、内存、SSD、网卡和交换机。关键是“平等”(Peerium就是这意思),所谓“颠覆主从架构”就是这个。

传统架构CPU为“主”,GPU/NPU、网卡、SSD 都是“从”。CPU 调度、协议转换,每一步都是延迟和开销。计算、网络、存储子系统各用各的互联协议,大量跨协议转换会增加时延和CPU参与开销。

Peerium是说,所有部件以平等身份挂在同一条总线上,NPU和远端的NPU内存、直接读写 SSD,都无需CPU中转、无需协议转换!计算、存储和网络都平等互联。

华为是做通信的,有绝活。灵衢2.0 芯片间通信延迟从2微秒降到200纳秒,跨柜时延从7微秒降至3 微秒,跨机柜通信接近柜内通信,这是“超节点”与普通集群重大指标区别。因此,英伟达 NVLink最大576卡,灵衢就能支撑 8192卡。

“统一内存寻址”是从编程意义上是核心架构特征,整个集群变成“一块大内存”。这就是“百万处理器成为一台计算机”的核心技术含义。

超节点内所有设备的内存地址全局唯一,内存灵活访问。Atlas 950里8192 张卡的 HBM被聚合成1152TB的统一编址共享内存池。不需要知道它具体在哪,直接一个地扯自由访问,实际是有芯片间、跨柜通信的,够快就可以。

这带来的好处是,大模型训练中频繁的参数同步可直接通过内存读写完成,而不是以前的send/recv通信调用。写过程序的都知道,写个“a=b”很简单,如果要写“a = recv(b)”,那就复杂太多了。

至于说“突破冯·诺依曼单机架构”,是哲学意义上的。每颗昇腾芯片内部依然是存储程序、顺序执行的冯·诺依曼式处理器,这没有突破。但这次,“单机”的边界从一台服务器扩展到了百万处理器,从现象上来看“冯·诺依曼瓶颈”在系统层面的表现(CPU 中心化、数据搬运为主)不存在了,就说突破了。这不是推翻了存储程序原理,而是在百万处理器规模上,实现了冯结构无法做到的性能。

理论上来说,单机突破冯结构的研究也在搞,存算一体之类的。这些是严格符合计算机体系结构定义的,但都还没有突破。

发布于 广东