DeepSeek又变强了:发布DSpark框架 推理速度提升超60%
6月27日,DeepSeek团队联合北京大学发布名为《DSpark》的研究论文(基于speculative decoding方向),提出一种用于加速大模型推理的新方法。该技术在保持生成文本分布完全无损(Lossless)的前提下,成功突破了大语言模型(LLM)在高并发生产环境中的推理性能瓶颈,实测数据显示,其单用户生成速度较现有主流方案最高提升 85%。目前,该框架已被部署在DeepSeek-V4-Flash 与 DeepSeek-V4-Pro的真实线上流量中,大幅加速了大语言模型(LLM)的推理速度。值得注意的是,DeepSeek创始人梁文锋也位列论文作者名单之中。(TechWeb)
发布于 浙江
