我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.8-27B-DSpine-b16 这个新草稿模型. 直接从原来 MTP 加速的1.6倍左右提升到了3倍. 官方测试来到了 805 tps (8并发). 官方没说是什么卡, 但是从用的 FlashAttention 3 来看应该是 Hopper 架构的卡.
他是怎么做到的的呢? 其实很简单, 大家都知道传统MTP最大开的是 MTP3 (一次猜3个token), 这个草稿模型开到了16, 然后接受长度能到7.2 (GSM8K 数学题测试集).
给大家讲一下 DSpine 最亮眼的几个技术细节:
- 草稿模型只有 5 层 (约 2B 参数), 一次前向「并行」猜 16 个位置 (1 个已知锚点 + 15 个待猜), 而不是一个一个往后猜
- 用「相邻因果注入」在每一层都把前一个位置「正在预测的词」写给后一个位置, 让因果依赖沿着网络深度一层层传下去
- 用「转移缓存」把相邻两个位置 16×16 = 256 种候选组合的分数一次性并行算好, 选词时直接查表
具体细节是这样的:
- 首先要知道投机解码是啥. 大模型生成慢, 是因为它只能一个字一个字地往外蹦, 而投机解码就是先让一个小模型快速"打草稿", 再让大模型一次性批改, 批改对了的字直接就吐出来了 (利用大模型 prefill 速度快, 但是 decode 速度慢的机制). 所以提速多少, 关键就看草稿一次能接受几个字.
- 那 Qwen3.8-27B 自带的 MTP 是怎么打草稿的呢? 它在 checkpoint 里自带了 1 层 MTP 模块, 猜完第 1 个字, 再把这个字喂回去猜第 2 个, 再喂回去猜第 3 个, SGLang 官方推荐就是每轮猜 3 步 (MTP3). 所以它是串行的.
- 而 DSpine 走的是另一条路 (这条路的祖师爷是 DFlash, 借鉴了扩散模型的思路): 一次前向同时把 15 个空全填上, 猜再多也不用排队. 但问题来了, 同时猜15个, 前后如果没因果关系, 驴唇不对马嘴, 猜出来大概率不会被接受.
- DSpine 的解法很巧妙, 就是让草稿模型每算一层的时候, 都偷看一眼左边那个位置正在往哪个词上蒙. 草稿模型有 5 层, 每算完一层, 每个位置都会通过一个门控, 把左边邻居当前的预测写进自己的计算里. 这样第 1 层时位置 3 的信息传给位置 4, 第 2 层再传给位置 5... 5 层下来信息就一路传到了位置 8. 所有位置依然是同时计算的, 但因果链靠「层数」展开了, 这就是论文标题说的 "Draft in Parallel, Condition Through Depth".
- 最后「转移缓存」理解就简单了, 草稿算完后每个位置先挑 16 个候选, 本来要从左到右"前一个选定了再算后一个", 又变成了排队. DSpine 干脆把相邻两位所有候选组合的分数提前一口气算完, 选词时只需要查表, 不用再串行做矩阵运算.
最后论文里实测了耗时, 5 层注入加起来每轮最多只多花 0.15 ms, 整轮耗时和 DFlash2 基本持平, 但这样一顿操作每轮收下的字更多了, 所以速度更快了.
当然还是有需要注意的地方:
一方面 DSpine 是个独立的 2B 草稿模型, 要额外占一点显存, 不像 MTP 是 checkpoint 自带的开箱即用.
另一方面腾讯模型卡对比的是 DFlash2 和逐 token 解码, 并没有直接给出和 Qwen 自带 MTP 的对比数据. 而且投机解码在高并发下收益会下降 (论文里 8B 模型并发 32 时提速降到了 1.6 倍左右, 跟原装MTP差不多了), 所以更适合本地部署、低并发、追求单路速度的场景, 比如自己跑 Agent 写代码.
#HOW I AI#
