爱可可-爱生活
26-11-18 07:49 微博认证:AI博主 2025微博新锐新知博主

「换模型,不只是换模型」RUNTA刚发布 FrontierHarness Eval v1.1,把“模型”和“智能体外壳(harness)”放在一起重测:22种 harness、5个模型、62项终端任务、4次尝试,总计 27280 次 agent 运行、830亿 token,规模是 v1.0 的 76 倍。结论很直接:换模型时,harness 往往也该一起换,因为同一套外壳在不同模型上的性价比会明显变样。这次各模型的最佳搭配并不相同,比如 Codex CLI 配 GLM-5.3、Pi 配 GLM-5.3 Flash、ZCode 配 DeepSeek、Alma 配 Kimi-K3,而 Codex CLI 的成本排名甚至能从 GLM-5.3 的第1掉到 Kimi-K3 的第16。更有意思的是,贵不一定更强:不同 harness 之间的通过率差距,往往并不随着成本同步上升;真正更能解释成本差异的,也不是提示词长短、工具多少或缓存命中率,而是“走了多少步”,因为每多一步,整段上下文都要再发一遍。 报告还点出一个很现实的问题:64.5% 的推理成本花在没通过的任务上,而且不少失败并不是超时,而是代理“自信地给出错误答案”。这份评测的价值,不在于替所有人指定唯一最优解,而是把一个常被忽视的事实讲透:模型决定天花板,harness 决定你为这个天花板付出多少冤枉钱。选 agent 方案,不能只盯模型榜单,也得看它和外壳是不是合拍。 runta.com/blog/introducing-frontierharness-eval-v1-1/

发布于 北京