Gemma4提速秘籍! 一条命令速度提升23%!

不卖关子哈, 记得用推测性解码, 这次Gemma4发布的模型尺寸梯次正好适合用推测性解码, 如果你在用31B dense 觉得不够快, 可以再加上E2B(5.1B)作为草稿模型, 我实测RTX5090可以把吐字(解码)速度提升23%! 从61 token/s 提升到了76 token/s. 并且推测性解码本身是不会降智的.

等会, 你要问什么是推测性解码(投机解码, Speculative Decoding)?

简单来讲, 大模型跑得慢, 那我们就用小模型先跑, 然后把小模型的输出批量的发给大模型让大模型判断对不对, 小模型跑对了多少就保留多少, 因此最差情况都是至少第一个token是对的(原理见上图).

有同学会问了, 那这不还是要让大模型重新生成, 速度提升在哪里?

答案是, 目前大模型推理【算力】是过剩的, 【显存带宽】是不足的, 所以处理输入(预填充, prefill, 更多需要浮点性能)速度都很快. 因此小模型输出一大堆, 然后反馈给大模型判断这个过程(当作 prompt), 就是prefill, 会很快, 远超过大模型直接吐字(解码, decoding, 更多需要显存带宽)的速度. 只要小模型速度足够快, 哪怕接受率再低, 都会产生速度优势, 推测性解码就是巧妙地利用了这一点.

最后我把我测试的最佳参数放在了图3, 大家可以参考. 另外记得不要混搭, Gemma4就搭配Gemma4, 不要搭配Qwen3.5. 会出现不兼容问题.

#HOW I AI##gemma4##llamacpp##qwen35##本地大模型##推测性解码#