#华为突破冯诺依曼单机架构##一分钟精选视频扶持计划# 很多人看完新闻,第一反应以为华为直接推翻了冯诺依曼架构,其实并不是。
我们手里的手机、电脑,还有绝大多数服务器,全都是基于冯诺依曼这套框架。计算和存储是分开的,CPU要做运算,就得反复从内存读数据,算完再写回去。大量性能都耗在来回搬运数据上面,这就是大家常说的冯诺依曼瓶颈。
过去做大算力集群,做法就是把一台台服务器拼起来。每台机器都是独立的,内存互相不能共用。服务器越多,机器之间传输数据的延迟、损耗就越高。硬件看着堆得很壮观,但真正能用得上的算力却被削掉一大截。
华为新出的Peerium计算架构,并没有改单颗芯片内部的电路。而是打破了各个单机之间的隔离。借助灵衢高速互联总线,实现统一内存寻址,各个节点平等协同,摒弃传统的主从管控模式。上百万颗CPU、NPU,在逻辑上可以合并成一台超级计算机,大幅减少不同机器之间交换数据的开销,解决大模型训练当中集群协同效率低的痛点。
大白话讲,以前就算堆上十万张算力卡,也发挥不出十万卡该有的性能。这套架构就是让海量芯片真正协同工作,而不是简单把硬件堆在一起。落地硬件是Atlas 950超节点,25.6万卡规模的集群已经在部署。
客观来讲,这项技术面向算力中心、大模型训练,普通手机和家用电脑用不上。放眼全球AI算力的比拼,不再单纯比拼芯片数量,直接在架构上面做革新,国产算力实实在在往前跨了一步。#芯片# http://t.cn/AXO9lwlm http://t.cn/AXO98YGH
发布于 河北
