使用了TK推荐的QWEN模型，我的魔改版的2080 TI竟然也起飞了。 .\llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf -ngl 40 -c 16384 ，这样的配置生成TOKENS的速度超过了60个每秒。[ Prompt: 75.3 t/s | Generation: 62.0 t/s ]
发布于 浙江
王药师 26-03-19 23:28
使用了TK推荐的QWEN模型，我的魔改版的2080 TI竟然也起飞了。 .\llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf -ngl 40 -c 16384 ，这样的配置生成TOKENS的速度超过了60个每秒。[ Prompt: 75.3 t/s | Generation: 62.0 t/s ]