斌叔OKmath
26-08-25 09:25 微博认证:橙旭园CEO 教育博主

🤯 20GB 模型无法装入这款 RTX 5080 的 16GB 显存。它仍然以 ~100 tok/s 的速度运行。

🆕 全新推理引擎!

FreeToken 是一个新的开源推理引擎,专为在显存不足以容纳大型 MoE 模型的硬件上运行这些模型而设计。

... 还有新的社区测试来验证这些声明
🎮 RTX 5080(配备 16GB 显存)
🧠 Ryzen 9 9950X3D
💾 64GB 系统 RAM
🤖 Qwen3.6-35B-A3B NVFP4(~20GB)

模型比 GPU 显存更大。
结果:
🔥 ~100 tok/s

一个带有 1,028 个 token 提示的示例达到了大约 🚀 110 tok/s

如何实现?
FreeToken 不会将你的 PC 视为 GPU 显存或系统 RAM。它将整机视为一个推理平台。
⚡ GPU 驻留专家
🧠 CPU 执行
💾 系统 RAM
🔄 动态专家缓存
🚦 带宽感知的 CPU/GPU 调度
📚 动态 KV 缓存分配

因为 Qwen3.6-35B-A3B 是一个 MoE 模型,对于每个 token,只有其总参数的一小部分是活跃的。

FreeToken 利用这种稀疏性,而不是强迫整个模型装入显存。

而且论文走得更远:
💻 8GB 笔记本 GPU → 35B MoE
🎮 RTX 5090 → DeepSeek-V4-Flash 284B
🖥️ 96GB 工作站 GPU → GLM-5.2 753B
所有这些都在一台单人机器上。

FreeToken 是 ...
🔓 Apache 2.0
🪟 Windows 应用
🐧 Linux
🖥️ GUI
🔌 与 OpenAI 兼容的 API
🤖 Claude Code / Codex / Hermes / OpenCode 支持

⚠️ ~100 tok/s 的数字是社区结果,不是 FreeToken 论文中报告的基准。

🔗 GitHub /FlashML-org/FreeToken

http://t.cn/AXpp528W

发布于 北京