平凡ZhiH
26-07-23 15:18 微博认证:微博新知博主 科技博主

把小模型放进手机以后,系统还得知道什么时候该把任务交出去。Cactus Hybrid 给 Gemma 4 E2B 加了一支置信度探针,每次回答会返回 0 到 1 的分数,低于阈值时再转给更大的云端模型。

项目给出的测试里,FP16 版本只把 15%—35% 的请求交给 Gemini 3.1 Flash-Lite,就能在多数基准上接近后者;MMLU-Pro 需要转交 45%—55%,量化以后,很多任务的转交比例还会继续上升。

这个做法比争论“本地还是云端”更接近真实产品。置信度不能当成事实判定,这些数字也来自项目方自测,具体阈值还得按自己的任务重测;但它至少把切换变成了可观察、可调的规则,能在设备端完成的请求留在本地,模型拿不准时再花云端成本。

发布于 英国