DFlash2 使 Qwen3.8 27B 速度提升高达 4 倍⚡️

我们租用了一台 RTX 6000，并以四种方式运行相同的 Qwen3.8-27B：基准线、MTP、DFlash、DFlash2。我们选择了 4 种不同的任务进行测试：一个音乐库作为 JSON、一个 Python 速率限制器、一个座位谜题、一个抢劫故事。

输出结果：

基准线：47.4 tok/s
MTP：114.7 tok/s · 52% 接受率
DFlash：99.3 tok/s · 34% 接受率
DFlash2：140.6 tok/s · 56% 接受率

DFlash 和 DFlash2 之间的区别本质上是这样的：DFlash 只查看当前令牌，进行一次猜测并发送它，这往往导致较低的接受率。另一方面，DFlash2 查看前一个和当前令牌，创建 16 个候选，并根据两个标准对每个猜测进行排名：1. 它作为下一个令牌的契合度 2. 它是否与前一个令牌连接良好。排名后，它选择最佳候选并将其作为猜测提交。

这就是 DFlash2 如何实现更高的接受率，从而往往比 DFlash 快得多DFlash2 使 Qwen3.8 27B 速度提升高达 4 倍⚡️

我们租用了一台 RTX 6000，并以四种方式运行相同的 Qwen3.8-27B：基准线、MTP、DFlash、DFlash2。我们选择了 4 种不同的任务进行测试：一个音乐库作为 JSON、一个 Python 速率限制器、一个座位谜题、一个抢劫故事。

输出结果：

基准线：47.4 tok/s
MTP：114.7 tok/s · 52% 接受率
DFlash：99.3 tok/s · 34% 接受率
DFlash2：140.6 tok/s · 56% 接受率

DFlash 和 DFlash2 之间的区别本质上是这样的：DFlash 只查看当前令牌，进行一次猜测并发送它，这往往导致较低的接受率。另一方面，DFlash2 查看前一个和当前令牌，创建 16 个候选，并根据两个标准对每个猜测进行排名：1. 它作为下一个令牌的契合度 2. 它是否与前一个令牌连接良好。排名后，它选择最佳候选并将其作为猜测提交。

这就是 DFlash2 如何实现更高的接受率，从而往往比 DFlash 快得多