#华为突破冯诺依曼单机架构#很多人会疑惑,冯诺依曼架构不是计算机基础吗,怎么能突破?其实不是彻底废掉这套基础理论,是跳出传统单机“CPU+内存分离”的老框架。老式计算机,计算和存储是分开的,数据来回搬运,搬运消耗的能耗、时间,甚至比计算本身还多,这就是一直困扰行业的存储墙问题。
华为这套Peerium架构,核心就是把海量昇腾NPU、内存资源做全局统一编址,所有芯片共享同一块内存地址空间。不再是单个芯片各自带一小块内存,芯片之间不用反复拷贝大量数据。放到大模型训练场景里,十万卡、几十万卡集群一起跑的时候,芯片之间不用来回等待同步,算力损耗直接降下来,集群规模拉得再大,性能也不会断崖式下跌。
过去想要做大算力集群,只能靠多台独立服务器互联,机器之间通信延迟高,数据来回传输会吃掉大量算力。现在逻辑上把几十万颗芯片融合成一台整机,相当于把整个算力集群变成一台超级大电脑。这对国产算力是很关键的一步,不再单纯堆芯片数量,直接从底层架构解决算力集群的通信瓶颈。
这不是短期就能普及到普通手机电脑的技术,主要面向AI大模型、超大规模算力中心。以后训练超大参数大模型,不用再被跨服务器数据传输拖后腿,昇腾超节点集群的上限直接拉高,也是国内算力底层技术自主的重要一步。
发布于 北京
