奶琦饼干
26-06-27 18:29 微博认证:娱乐博主

#DeepSeek发布DSpark#
今天(6月27日),DeepSeek联合北京大学正式开源了大模型推理加速框架 DSpark,直接将大模型行业的竞争拉进了“拼效率、拼成本”的下半场。
核心技术与运行逻辑
推测解码重构:打破传统大模型“逐字生成”的低效模式,采用“轻量草稿模型预判、主模型批量核验”的机制。
半自回归生成:先通过并行主干网络快速产出候选词,再用轻量模块注入上下文把关,在保证速度的同时防止生成内容跑偏。
置信度动态调度:引入实时评估机制,判断草稿内容的靠谱程度,自动剪除大概率会核验失败的无效 Token,拒绝无意义的算力空转。
硬件感知调度:实时读取 GPU 显存与负载状态,灵活调整核验长度,让验证过程最大程度贴合底层硬件性能。 http://t.cn/AXSQWKpx

发布于 江西