agentzh
26-09-29 15:12 微博认证:OpenResty Inc 创始人

终于把中美众多知名的 LLM 都放在一起,跑我司内部私有的 OpenResty Coding 和 Bug-Hunting 这两个 evals 评测集了。前者是针对很多真实的高难度公司技术问题,设计全新算法并编码实现。后者则是针对很多真实、最难的 bug 的定位和修复任务。

直接跑的对应的 coding agent harness.

对结果我就不作评论了。大家自己看图说话就好。我同时贴了两个评测集的质量评分排行榜和平均用例延时排行榜。

发布于 美国