单 RTX 3060 上的 Qwen3.8-27B。经过数周测试量化版本和配置后，我决定在这里止步——这两个是我为这张卡的最终构建。158K 上下文时 22 tok/s，或者 82K 时 38 tok/s。（配置和权重如下）

在七个基准测试中测试了四个 IQ2 量化版本，GSQ-RCO IQ2_XS 获胜，同时它是四个中第二小的文件。

缺点：GSQ-RCO 不带 MTP 头。你借用 Unsloth 的——相同基础模型，直接插入——并为 1.7 倍解码付出约 76K 上下文的代价。不管怎样，预填充都是约 460 tok/s，MTP 只影响生成。

哪个“值得”完全取决于你运行什么。短小的 few-shot 任务从不触及 64K，所以额外上下文是死重，你只想要速度。长的单会话代理运行会超过 82K，一旦超出上下文，没有解码速率能救你。这就是为什么两种配置都存在。

一切都使用低推理努力。在 2 位时，更高设置会螺旋上升而不是终止。

🐢 上下文 (158K):
llama-server -m Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf -ngl 99 -c 158000 -fa on --jinja -np 1 --cache-type-k q4_0 --cache-type-v q4_0 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 --reasoning on --chat-template-kwargs '{"reasoning_effort":"low"}'

⚡ MTP (82K):
llama-server -m Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf -md mtp-Qwen3.8-27B-Q4_0.gguf -ngl 99 -c 82000 -fa on --jinja -np 1 --spec-type draft-mtp --cache-type-k q4_0 --cache-type-v q4_0 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 --reasoning on --chat-template-kwargs '{"reasoning_effort":"low"}'

weights: http://t.cn/AX0pLlN5…
MTP head: http://t.cn/AXpUcqfz…
llama-swap: http://t.cn/AX0pLlNU…
BenchKit: http://t.cn/AX0pLlN4…

if 2-bit puts you off: a bigger model at 2-bit beat a smaller one at 4-bit on every benchmark I ran, and it wasn't just Qwen -- Muse Glimmer 30B did the same.
引用：three models on a single 12GB RTX 3060. Qwen3.8-27B and Muse Glimmer 30B at 2-bit, Gemma 4 12B at 4-bit. four benchmarks, same harness, same prompts, one repair attempt each. (configs below)

the 4-bit 12B loses all four. not by a little.

between the two 2-bit models it's a

why low effort: at 2-bit, xhigh scored worse than medium on all three benchmarks and burned 3x the tokens getting there.
引用：Qwen3.8-27B ships with reasoning_effort on xhigh. Turns out that's the one setting you don't want.

Ran all four levels throug…