#DeepSeek发布DSpark#刚刷到DeepSeek新推出DSpark,专门适配自家V4 Flash与V4 Pro两大模型,看完技术逻辑觉得思路特别巧妙。
简单说就是大小模型协同干活:先用轻量小模型快速生成基础回答草稿,再交给大模型分段校验,准确内容直接保留跳过重算,只有出错段落才重新生成。官方实测整体推理吞吐直接提升51%至400%,提速幅度很可观。
最打动我的一点是这套方案不封闭,团队已经在通义千问、Gemma等主流开源模型完成测试,优化效果可以通用。在我看来,推理成本一直是中小开发者落地大模型最大阻碍,硬件开销、并发限制劝退不少自研项目。
倘若DSpark的提速数据能在真实业务场景稳定复现,不用额外堆叠硬件就能拉高并发承载量,不管是做AI工具还是私有化部署,都会大幅降低落地门槛,算是行业很实用的一次软件优化突破。http://t.cn/AXSQZFr7
发布于 浙江
