重磅|DeepSeek联合北大发布DSpark推理加速框架
基于革新推测解码方案,半自回归架构+置信度动态验证双优化
线上实测单用户生成速度提升60%-85%,高并发吞吐最高提升400%
无损提速,适配多款主流大模型,完整论文、代码、训练框架现已开源
发布于 北京
重磅|DeepSeek联合北大发布DSpark推理加速框架
基于革新推测解码方案,半自回归架构+置信度动态验证双优化
线上实测单用户生成速度提升60%-85%,高并发吞吐最高提升400%
无损提速,适配多款主流大模型,完整论文、代码、训练框架现已开源