【国产存储杀入大模型推理核心!曙光ParaStor首家接入Mooncake:吞吐暴增16倍】中科曙光分布式存储ParaStor成为业界首家接入Mooncake社区的商用分布式存储,实测大模型KV Cache卸载可实现16倍吞吐提升,大幅降低AI运行成本,相关技术已合入社区主干,为国产全栈AI基建补上关键一环。
发布于 北京
【国产存储杀入大模型推理核心!曙光ParaStor首家接入Mooncake:吞吐暴增16倍】中科曙光分布式存储ParaStor成为业界首家接入Mooncake社区的商用分布式存储,实测大模型KV Cache卸载可实现16倍吞吐提升,大幅降低AI运行成本,相关技术已合入社区主干,为国产全栈AI基建补上关键一环。