VRAM 壁垒正式终结。

我刚刚在单张 24GB RTX 4090 上运行了 Qwen 3.8 Flash Next (MoE) 125B A6B，上下文窗口达到了 250,000。

21 tokens/sec 解码。364 t/s 预填充。

无 mtp。无 dflash。无 kv 缓存量化！

我们正在消费级硬件上运行数据中心模型。

在 Ubuntu 22 | CUDA 13.0 | PCIe 4.0 x16 | 110 GB DDR4 系统 RAM 上测试，所有运行均使用连续 28k 提示。

### 基准测试与扩展性

# 1. 混合卸载 (-ncmoe 40 @ 80k 上下文)
将 40 个专家层卸载到 GPU，将 VRAM 推至上限。

./build/bin/llama-server -m Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf -c 80000 --port 8080 -v --fit off -b 4096 -ub 4096 -ncmoe 40

预填充：383.85 t/s | 解码：22.52 t/s
占用：23.85 GB VRAM | 97 GB RAM

# 2. 全 CPU MoE 卸载 (-cmoe @ 80k 上下文)

将所有 512 个专家层固定到 DDR4 RAM (-cmoe)，注意力机制保留在 4090 上。

llama.cpp 参数：（与上方相同，将 -ncmoe 40 替换为 -cmoe）

预填充：355.72 t/s | 解码：20.84 t/s
占用：11.66 GB VRAM（释放 12GB+ VRAM！） | 110 GB RAM

# 3. 180,000 上下文运行

预填充：357.75 t/s | 解码：20.98 t/s | VRAM：15.6 GB | RAM：110 GB

# 4. 250,000 上下文绝对上限

./build/bin/llama-server -m Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf -c 250000 --port 8080 -v --fit off -b 4096 -ub 4096 -cmoe

预填充：364.29 t/s | 解码：20.97 t/s

占用：18.3 GB VRAM（仍有 ~5.7 GB VRAM 余量！） | 110 GB RAM

### 关键洞察：
-b 4096 -ub 4096：将提示处理速度从 ~150 t/s 翻倍至 364+ t/s。
-cmoe 免费午餐：将专家层转移到 DDR4 RAM，将 VRAM 从 24GB 降至 11.6GB，几乎无解码损失（22.5 -> 20.9 t/s），从而实现 250k 上下文上限。

Qwen 3.8 Flash-Next (UD-Q4_K_XL) 是一个庞大的 111.4 GB 模型，分为 4 个分片。要运行此架构，必须从实验 PR 分支 (#27742) 构建，由 @danielhanchen 提供：

git clone && cd llama.cpp
git fetch origin pull/27742/head:qwen-next && git checkout qwen-next
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native -DBUILD_SHARED_LIBS=OFF
cmake --build build --config Release -j $(nproc) --target llama-server

单张 4090 搭配 100 GB 廉价 DDR4 RAM，即可轻松提供生产级 125B 推理。

虽然 Qwen 3.8 27B (稠密) 仍单张 3090/4090 设备中的王者，但 Flash Next 证明了 125B 混合模型在消费级硬件上已正式可行。

Hugging Face GGUF 链接和完整性能遥测图表将在下方回复中提供。

GLM 5.3 Flash VS Qwen 3.8 Flash Next，本周哪款开源权重模型加冕？
引用：Qwen3.8-Flash can now be run locally! 🔥

The 125B MoE model outperforms Claude-Opus-4.6 (Max).

Run on 75GB RAM via Unsloth GGUFs.

Qwen3.8-Flash-Next enables CPU RAM / unified mem set…