爱可可-爱生活
24-06-15 09:25 微博认证:AI博主 2025微博新锐新知博主

【LiveBench AI - 世界上首个无法作弊的 LLM 基准评测】
Abacus AI 与Yann LeCun及其团队合作,创造了LiveBench AI

LiveBench是一个动态的基准测试,包含无法简单记忆的新挑战。不同于盲目的人工评估,无法通过微调或风格技巧让参评的LLM在简单的人类对话中表现出色。

从不同维度评估了LLM,包括推理、编码、写作和数据分析。

推出LiveBench的主要原因是你可以更好地区分LLM的优劣。以下是一些关键发现:

GPT-4o略胜于GPT-4-turbo。
Claude Opus在数据分析和语言理解方面表现出色。
Gemini的表现不如Claude或GPT-4,这表明一般来说,Gemini不如Claude或GPT。
GPT-4在推理和编码方面比GPT-4o表现更好。
Qwen 72B是最好的开源模型。

这个基准测试为LLM提供了独立、客观和透明的排名。

发布于 北京