agentzh
26-11-13 02:17 微博认证:OpenResty Inc 创始人

Claude Fable 5.2 的最新评测来了!

这次用我司的 OpenResty Coding Evals 和 Bug-Hunting Evals 两套私有评测集,把新版 Fable 5.2 和上一版 5.1 的质量评分、平均用时放在一起比较。前者针对公司真实问题设计算法、编写新代码;后者是在复杂私有代码库中定位、修复困难 bug,同时避免引入回归。

1)写新代码:评分上升,用时也增加。

同为 xhigh 推理档位,5.2 的评分从 82.8% 提高到 88.2%,增加了 5.4 个百分点;平均用时从 23.9 分钟增至 28.6 分钟,约多花了 20% 的时间。

5.2 的 xhigh 也超过了旧版 max 的 85.1%,高出 3.1 个百分点;旧版 max 平均用时 25.2 分钟,新版则多等了 3.4 分钟。

2)修困难 bug:评分略降,用时明显变长。

同为 xhigh,评分从 89.9% 降到 89.2%,少了 0.7 个百分点;平均用时却从 24.3 分钟增至 74.8 分钟,约为旧版的 3.1 倍。

旧版 max 的评分是 90.3%,用时 30.4 分钟。相比之下,新版 xhigh 的评分低了 1.1 个百分点,用时约为旧版 max 的 2.5 倍。

这次升级挺有反差:写新代码的质量评分提高了,修困难 bug 却等得久得多,评分还略降。在我们这轮私有评测里,旧版 5.1 修 bug 的质量和用时组合反而更好。看来还是得按自己的任务选版本和推理档位呀 [笑cry]

#Claude##大模型评测##AI编程#

发布于 美国