EdgeBench来了:字节Seed不考模型会什么,考它能不能学会
今天字节跳动Seed放出了EdgeBench,134个任务,六个领域——科学发现、复杂软件工程、组合优化、专业白领工作(金融教育医疗法律)、形式数学定理证明、交互游戏。不是什么普通的跑分,每个任务至少让模型连续跑12个小时,有的拉到了72小时。人类专家做一个平均57.2小时,最长320小时。
逻辑很简单:现有评测集都是"你有什么本事现在就亮出来",EdgeBench要的不是一次性得分,是模型跟真实环境长期交互、吃反馈、改策略、逐步进步的能力。
团队用五款前沿模型在134个任务上收集了38000小时交互数据,然后发现了一条规律——所有任务聚合后,模型表现随交互时间走出一条log-sigmoid曲线,拟合精度R²=0.998。换句话说,从早期的学习速度,基本能推算出后期的上限。这个规律从图扩展理论出发也能解释:每个任务像一张知识网,已解锁的节点给相邻区域提供了扩散通道,整体进度自然收敛成sigmoid形态。
跨代际的另一个发现更实际:模型从环境里学习的速度,大约每三个月翻一倍。对产业来说,这场军备竞赛拼的不是谁训练时吃了多少数据,而是谁上场之后学得更快。
有意思的是一个细节。GPT-5.5跑引力波任务,12小时内提交了224次,只有27次真正提升了最优成绩,但总分从42.8拉到了67.0。大跳跃往往不是细碎调优的结果,而是模型根据反馈重新把问题定义拆解了一遍——识别瓶颈、保留可用部分、聚焦修补残局。对比不同模型提交效率和最终成绩的关系也很说明问题:强模型提交次数不多,但每次提交的质量高,改在点子上;弱模型反而容易盲目信任本地反馈信号,在不该使劲的地方反复试。
EdgeBench已经开源了51个任务和完整评测框架。大模型赛道后半程的逻辑正在变:从"考你记住了什么"到"看你能不能学会",从刷分到真正的环境适应能力。EdgeBench给这个转向提供了一个可量化的坐标系。
