#杨立昆联合创建了一个很难作弊的大模型评估基准##模型时代#
这个指标叫LiveBench AI,最大的特点是号称“难以作弊” ,由Abacus AI和杨立昆及团队合作创建。
1、为什么很难作弊,据技术博客说(地址:livebench.ai/#/blog),是因为LiveBench 是一个“活的”的基准,所以参与评测的模型不能简单地通过记忆来作弊拿分。团队会通过每月发布新问题并基于最近发布的数据集、arXiv 论文、新闻文章和 IMDb 电影概要设置问题,这样就可以确保基准测试的无污染性。
2、而且,评估不依赖于人工或者大模型自身,每个问题都有可验证的客观答案,可以自动准确地评分。任务比较全面和多样化,目前包含18个任务,分为6个类别:推理、数据分析、数学、编码、语言理解和指令遵循,初始发布960个问题,然后每月发布新问题。
3、LiveBench 的问题比较困难(可以看图片里和其他模型的分数比较),GPT-4-Turbo 在 LiveBench 上的整体准确率只有约 50%。此外,在每月更新中,团队将发布新任务和更难版本的任务。
具体表现:
GPT-4o略优于GPT-4-turbo。
Claude Opus在数据分析和语言理解方面表现出色。
Gemini的得分不如Claude或GPT-4在Lmsys上的表现。这意味着,通常情况下,Gemini不如Claude或GPT。
GPT-4在推理和编程方面比GPT-4o表现更好。
Qwen 72B是目前最佳的开源模型。(比杨立昆所属的Meta Llama3 70B分数高)
发布于 韩国
