做Agent路由或客服工单分类时,反复调用通用大模型往往既慢又浪费Token。开源工具Ollaya把决策模型的本地运行做成了类似Ollama的轻量体验:它摒弃了逐字生成的耗时机制,通过单次前向推理,在几毫秒至几十毫秒内直接输出校准后的意图判定与置信概率,敏感数据全程不离本地。它在接口上直接兼容TypeSafe Jev,改个环境变量即可无缝平替云端接口;同时原生支持MCP,能直接挂载至Cursor与Claude Code承接Agent的分支判断,大幅压缩API开销。全平台单二进制即可运行。详见 ollaya.dev 与 github.com /ollaya-dev/ollaya。
发布于 北京
