🤯 20GB 模型无法装入这款 RTX 5080 的 16GB 显存。它仍然以 ~100 tok/s 的速度运行。
🆕 全新推理引擎!
FreeToken 是一个新的开源推理引擎,专为在显存不足以容纳大型 MoE 模型的硬件上运行这些模型而设计。
... 还有新的社区测试来验证这些声明
🎮 RTX 5080(配备 16GB 显存)
🧠 Ryzen 9 9950X3D
💾 64GB 系统 RAM
🤖 Qwen3.6-35B-A3B NVFP4(~20GB)
模型比 GPU 显存更大。
结果:
🔥 ~100 tok/s
一个带有 1,028 个 token 提示的示例达到了大约 🚀 110 tok/s
如何实现?
FreeToken 不会将你的 PC 视为 GPU 显存或系统 RAM。它将整机视为一个推理平台。
⚡ GPU 驻留专家
🧠 CPU 执行
💾 系统 RAM
🔄 动态专家缓存
🚦 带宽感知的 CPU/GPU 调度
📚 动态 KV 缓存分配
因为 Qwen3.6-35B-A3B 是一个 MoE 模型,对于每个 token,只有其总参数的一小部分是活跃的。
FreeToken 利用这种稀疏性,而不是强迫整个模型装入显存。
而且论文走得更远:
💻 8GB 笔记本 GPU → 35B MoE
🎮 RTX 5090 → DeepSeek-V4-Flash 284B
🖥️ 96GB 工作站 GPU → GLM-5.2 753B
所有这些都在一台单人机器上。
FreeToken 是 ...
🔓 Apache 2.0
🪟 Windows 应用
🐧 Linux
🖥️ GUI
🔌 与 OpenAI 兼容的 API
🤖 Claude Code / Codex / Hermes / OpenCode 支持
⚠️ ~100 tok/s 的数字是社区结果,不是 FreeToken 论文中报告的基准。
🔗 GitHub /FlashML-org/FreeToken
http://t.cn/AXpp528W
