#DeepSeek发布DSpark#
DeepSeek联合北大推出开源推理加速框架DSpark，直击大模型高并发场景算力浪费、生成延迟高痛点，重构推测解码底层逻辑。核心创新为半自回归草稿生成+置信度硬件双调度：并行主干批量产出候选Token，轻量串行模块建模文本依赖，解决传统并行方案尾部通过率骤降问题；通过置信度预判动态调整校验长度，规避无效算力消耗。
线上部署于V4系列模型实测，同等吞吐量下单用户生成速度提升57%-85%，系统吞吐最高提升400%，性能显著优于Eagle3、DFlash等主流方案。框架采用MIT协议开源，兼容Qwen、Gemma等主流开源模型，无需新增硬件即可降低云端运维成本。该成果推动行业竞争从堆参数转向推理效率优化，为中小企业规模化落地大模型提供低成本底层方案。#优质视频创作激励# http://t.cn/AXSQfy40