【Lama.cpp 正式支持 Decision Models：Agent 的“快判断”开始本地化】llama.cpp 服务端现已通过 /v1/systemone 接口支持决策模型。与传统对话模型逐字生成再提取内容不同，决策模型单次前向传播即可直接计算出各选项的概率分布，耗时低至数毫秒，省去了文本解析环节。该接口沿用 System One 规范，支持单选、打分与是非判断三种问题类型；输入除文本和 JSON 外，也能配合 OpenJev 这类多模态模型直接分析截图或文档。单台服务还支持按需路由加载不同模型，很适合用于 Agent 动作裁决、请求分流与内容审核等实时决策场景。详情见 huggingface.co /blog/ggml-org/decision-models-in-llamacpp