每日经济新闻 26-03-01 11:37
微博认证:每日经济新闻官方微博

#DeepSeek称有新突破# 【DeepSeek,有新消息!】据媒体2月27日报道,在业界对新一代旗舰模型DeepSeek V4的翘首期盼中,DeepSeek团队却悄然放出了一篇新的学术论文。这篇论文由DeepSeek联合北大、清华共同撰写,将研究方向投向了决定大模型实际应用落地的关键一环——推理速度,为日益复杂的AI智能体,提供一套高效的底层系统解决方案。

具体来说,新论文介绍了一个名为DualPath的创新推理系统,专门针对智能体工作负载下的大模型(LLM)推理性能进行优化。通过引入“双路径读取KV-Cache(类似记忆缓存)”机制,重新分配存储网络负载,将离线推理吞吐量最高提升 1.87 倍,在线服务的每秒智能体运行数平均提升 1.96 倍。

论文在引言部分提到,大模型正从单轮对话机器人和独立推理模型,快速演进为智能体系统 ——能够自主规划、调用工具,并通过多轮交互解决实际任务。这种应用范式的转变,推动大模型推理工作负载发生重大变革:从传统的人类-大模型交互,转向人类-大模型-环境交互,交互轮次可达数十甚至数百轮。

上下文会跨轮次累积,最终长度可能达到极值。此时模型不需要大量计算,反而需要频繁从硬盘读取历史上下文的 KV-Cache;现有系统中,只有负责预处理的引擎会读取KV-Cache,它的网卡带宽被占满,而负责生成内容的解码引擎,网卡带宽基本闲置,导致整个系统速度被卡脖子。

因此,论文提出的DualPath,针对智能体工作负载、重新设计现代推理架构中 KV-Cache加载逻辑,解决大模型做智能体任务时,速度被 “数据读取”拖慢的核心问题,重要的是把闲置的带宽资源利用起来,相当于给数据读取 “多开了一条高速路”,实现速度的大幅提升。

这一论文成果延续了DeepSeek一贯的风格,在工程化层面将性能优化推向极致。有从业者认为,DeepSeek做这类优化属于缺显卡的无奈之举,属于“脏活儿累活儿”,大家更期待团队在模型上做创新。http://t.cn/AXcYH8e3(每日经济新闻综合,泽塔)