存储也要网络化,你服不服?光通信无敌!Marvell最新产品深度分析
内存正在网络化,光通信开始进入AI数据中心的核心腹地
过去几年,AI数据中心的叙事几乎始终围绕GPU展开:更大的模型需要更多芯片,更高的Token需求需要更大的算力集群。但Marvell最新提出的AI内存基础设施方案揭示了一个更深层的变化——当GPU数量达到一定规模后,决定系统效率的已经不只是计算能力,而是数据能否以足够低的延迟,在计算、内存和存储之间持续流动。
AI基础设施正在从“计算稀缺”进入“数据移动稀缺”。
尤其是在Agentic AI时代,一个任务不再是简单的一问一答。Agent需要长时间保存上下文,持续调用工具,在多个执行路径之间切换,甚至让多个Agent共享相同的知识、提示词和历史状态。这些过程会产生规模庞大的KV Cache。模型越大、上下文越长、并发任务越多,需要保存和反复访问的数据就越多。
问题在于,HBM虽然带宽高、延迟低,却昂贵且容量有限。如果所有模型权重、KV Cache和中间状态都必须常驻GPU附近,系统最终会被显存容量锁死。此时,即使GPU拥有充足算力,也可能因为等待数据而空转。
Marvell此次提出的方案,本质上是在重新设计AI系统的内存层级:最热的数据留在HBM,访问频率稍低的数据进入CXL连接的共享DRAM,更冷的数据进入PCIe 6.0 SSD,而多个机架之间则通过Photonic Fabric建立更大规模的共享内存池。
这意味着,内存正在从一台服务器内部的私有资源,变成可以跨CPU、GPU、服务器乃至机架动态调度的网络资源。
过去,服务器购买多少DRAM,基本决定了它能够运行多大的工作负载。不同服务器之间即使一边内存紧张、一边内存闲置,也很难相互调用。CXL改变的是这种资源绑定关系:计算和内存可以逐渐解耦,多个处理器共同访问一套池化内存,内存容量可以根据任务需求动态分配。
但是,当共享范围从服务器内部扩大到机架乃至多个机架,传统电互连开始面临距离、功耗、信号衰减和带宽密度的限制。也正是在这里,光通信的角色发生了根本变化。
过去,光通信主要负责交换机之间、机架之间和数据中心之间的数据传输,是AI集群不断扩张的网络基础设施。但在Marvell描绘的架构中,光互连不再只是“把计算结果送到另一台服务器”,而是直接连接GPU、XPU和远端内存,让计算芯片能够像访问本地资源一样,访问数米乃至数十米之外的共享内存。
光通信由此开始从Scale-out网络进入内存语义和Scale-up系统。
这是一个非常重要的产业变化。传统网络传输的数据通常以报文为单位,对延迟的容忍度相对较高;但当光互连开始承载KV Cache和远端内存访问时,它面对的是更高频率、更细粒度、对延迟更加敏感的数据流。光互连的价值也不再只由端口速率决定,而要由它能否减少GPU等待、提升缓存命中率和增加每瓦Token产出来衡量。
从这个角度看,AI数据中心中的光通信,正在经历三次位置迁移。
最初,光模块主要连接不同服务器;随后,随着万卡和十万卡集群出现,光互连成为机架之间和数据中心之间的关键骨干;下一阶段,光通信可能进一步进入机架内部、芯片附近以及计算与内存之间,成为AI系统内部的数据总线。
光通信距离GPU越来越近,也意味着其价值量和技术壁垒可能继续提高。传统可插拔光模块仍然重要,但产业重点可能逐渐向光引擎、硅光、CPO、光I/O和光学内存互连延伸。光通信公司销售的将不再只是带宽,而是AI系统中的数据可达性。
当然,Marvell的方案距离全面商业化仍有距离。共享内存并不是简单扩大容量即可发挥作用。系统必须实时判断哪些数据留在HBM、哪些迁移到CXL内存、哪些写入SSD,还要解决缓存一致性、数据预取、尾延迟和带宽争用问题。一旦软件调度失误,远端访问带来的延迟可能抵消内存扩展的收益。
因此,未来AI基础设施竞争不会只是GPU、光模块或者内存芯片之间的单点竞争,而是计算、内存、存储、网络和软件调度共同构成的系统竞争。
Marvell此次发布的真正意义,也不在于某一颗SSD控制器或CXL交换芯片,而在于它指出了AI数据中心的下一条演进主线:内存将越来越网络化,网络将越来越靠近计算。
过去,光通信解决的是服务器如何彼此连接;未来,光通信还要解决计算如何随时访问数据。当AI系统的核心矛盾从“缺少算力”逐渐转向“算力等待数据”,光互连就不再只是数据中心的外围基础设施,而会进入计算架构的核心腹地。
继GPU、HBM和高速交换机之后,光通信正在成为决定AI系统规模、效率和Token经济性的关键变量。
发布于 美国
