Splash 是 Inco 面向 Apple Silicon 打造的开源本地推理引擎,核心思路是针对每个模型专门优化~
地址:github.com/incoai/splash
比如用它运行 Qwen3.8-27B 时短上下文解码约 74 tokens/s,32K 长上下文时约 54 tokens/s。(4位量化) http://t.cn/AXOOjZ0T
发布于 山东
Splash 是 Inco 面向 Apple Silicon 打造的开源本地推理引擎,核心思路是针对每个模型专门优化~
地址:github.com/incoai/splash
比如用它运行 Qwen3.8-27B 时短上下文解码约 74 tokens/s,32K 长上下文时约 54 tokens/s。(4位量化) http://t.cn/AXOOjZ0T