agentzh
26-11-13 02:59 微博认证:OpenResty Inc 创始人

Gemini 4 Carbon 的最新评测来了!比 Argon 进步很明显,再和 Claude 放在一起看看。

这次重点看 Google 新版 Carbon,把它与 Argon,以及 Claude Fable 5.2、Opus 5.5 放到我司的 OpenResty Coding Evals(写新代码)和 Bug-Hunting Evals(修困难 bug)两套私有评测中比较质量评分和平均用时。以下数字均以这组六配置对照图为准,和上一篇 Fable 新旧版对照分开看。

1)Carbon 相比 Argon,两项都涨分,也都更费时间。

同为 high,写新代码从 62.6% 提高到 82.6%,增加 20 个百分点;修 bug 从 82.0% 提高到 87.5%,增加 5.5 个百分点。平均用时分别从 14.5、36.3 分钟增至 18.8、49.3 分钟,约多花 30% 和 36% 的时间。

至少在我们这轮任务里,Carbon 的进步相当明显,尤其是写新代码。不过,这些提升也伴随着更长的等待。

2)和 Claude 比,Opus 5.5 xhigh 的质量和用时组合仍然很亮眼。

Opus xhigh 写新代码是 86.8%、14.3 分钟,修 bug 是 88.1%、43.7 分钟,两项都是评分高于 Carbon,用时还更短。Carbon 修 bug 的评分已经比较接近它,写新代码则还有差距。Fable 5.2 xhigh 的两项评分也都高于 Carbon,但用时更长。

3)Fable 5.2 max 写代码拿高分,修 bug 则受超时影响。

Fable 5.2 max 写新代码拿到本组最高的 91.6%,平均用时 76.2 分钟;修 bug 的评分为 79.9%,主要是超时拖低了分数,任务平均耗时至少 116.1 分钟。它的 xhigh 则分别是 87.2%、28.6 分钟,以及 90.6%、74.8 分钟。修 bug 的评分与 Opus max 的 90.6% 相同,用时也几乎一样(Opus max 为 75.0 分钟)。

这次 Carbon 比 Argon 前进了一大步,而 Claude 的不同档位也各有取舍。新模型和更高推理强度,到底能换来多少质量提升、要多等多久,还是得用自己的任务来验证呀 [笑cry]

#Gemini##大模型评测##AI编程#

发布于 美国