NVIDIA英伟达中国
26-09-23 17:30 微博认证:NVIDIA技术服务(北京)有限公司

📣 9 月 22 日,#NVIDIA# 网络产品副总裁 Rochan Sankar 在 2026 #云栖大会# “可预期网络 2.0:Token Performance Network”分论坛上,以“扩展 AI 工厂的五大网络基础设施”为主题发表演讲。

代理式 AI 已将推理演变为包含数十次 LLM 调用的复杂工作流,#AI 工厂# 需要实现计算、#网络#、内存、存储与安全的极致协同,就需要五张专用网络,而非一张通用网络。

五大网络基础设施:

• Scale-Up(纵向扩展):基于 NVLink 与 NVLink Switch,将 GPU 整合为一个加速器整体,实现超低延迟、共享内存与片内计算,是目前唯一量产的专用 Scale-Up 网络,已迭代至第六代。

• Scale-Out(横向扩展):基于 Spectrum-X 以太网与 NVIDIA SuperNIC,高效连接数千个节点。其中多平面(Multi-Plane)多轨拓扑是 Scale-Out 的核心创新,可将 AI 工厂规模扩展 64 倍。

• Scale-Across(跨域扩展):基于 Spectrum-XGS 以太网,将分布式数据中心互连,通过具备距离感知能力的负载均衡与拥塞控制功能构来建统一的低延时计算网络架构,实现跨园区、跨地域连接多个 AI 工厂。

• Context Memory(上下文记忆):基于 Vera BlueField-4 存储处理器与 Spectrum-X 以太网,可扩展 KV Cache 与模型上下文的高速数据访问,支撑代理式 AI 的 Token 吞吐量提升 5 倍、存储加速提升 2 倍。

• Scale-In(全局互连网络):是 NVIDIA AI 网络的第五大支柱,基于 NVIDIA BlueField-4、NVIDIA DOCA 和 NVIDIA Spectrum-X 以太网加速与 AI 计算相关的访问、安全、数据传输和基础设施运营。

#AI 基础设施#

发布于 北京