Claude Sonnet 5.5 的最新评测来了!这次 xhigh 很亮眼,max 却让人等得有点久。
用我司内部私有的 OpenResty Coding Evals 和更难的 Bug-Hunting Evals,对比了一下新一版 Claude Sonnet 5.5 和上一版 Sonnet 5,分别测试了 xhigh 和 max 两档推理强度。
1. Coding Evals:xhigh 下的质量评分从 77.6% 提升到 87.0%,平均用例延时从 9.4 分钟增加到 9.7 分钟,基本持平;max 下的评分从 76.4% 提升到 88.6%,延时则从 26.0 分钟增加到至少 49.5 分钟,图中这一项标的是下限。
2. Bug-Hunting Evals:xhigh 下的评分从 76.9% 提升到 87.7%,延时从 33.1 分钟降到 18.0 分钟,质量和速度都进步了!max 下的评分从 79.4% 提升到 86.1%,但延时从 30.5 分钟增加到 109.9 分钟,约为原来的 3.6 倍。
至少在我们这两套测试里,Sonnet 5.5 的质量评分确实进步明显;xhigh 的延时表现也更均衡,写新代码基本没变慢,修 bug 还快了不少。max 则明显更费时间,而且这次修 bug 的评分还略低于 xhigh……推理强度的取舍,真得看任务呀 [笑cry]
#Claude##大模型评测##AI编程#
发布于 美国
