元力社
26-06-29 07:52 微博认证:元宇宙资讯、产业服务平台!专注元宇宙、大空间、AI等前沿科技。

【#DeepSeek联合北京大学发布论文#】6月27日,DeepSeek团队联合北京大学发布论文《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》,提出了一套新的大模型推理加速框架 DSpark。

论文披露,DSpark 已经进入 DeepSeek-V4-Flash preview 和 DeepSeek-V4-Pro preview 的生产服务系统,并替代此前的 MTP-1 方案。

在线上真实用户流量中,在系统总吞吐水平相同的情况下,DSpark 将 DeepSeek-V4-Flash 的单用户生成速度提升了 60% 至 85%,将 DeepSeek-V4-Pro 的单用户生成速度提升了 57% 至 78%。#DeepSeek开源DSpark#

目前,DeepSpec已内置DSpark、DFlash和Eagle3三种实现。值得注意的是,DeepSeek创始人梁文锋位列论文作者名单。在完成首轮融资的当下,创始人依然亲自参与技术论文撰写,这在AI行业并不多见。

发布于 山东