梨视频 25-12-28 09:33
微博认证:资讯短视频平台

【#174名北大学生与AI竞考#】#北大回应让学生与AI竞考# 12月28日,据媒体报道,北京大学发文,在北京大学化学与分子工程学院,有机化学考试是许多同学痛并快乐着的挑战。然而,期中考前突如其来的一条通知,却让这场考试的气氛变得不同寻常。

但比起考试范围的变化,考场里迎来的一批“特殊考生”,更让人意想不到。

它们不需要落座,也无需纸笔。它们是GPT、Gemini、DeepSeek……这些当下世界上最聪明的AI,正在云端与174位北大化学与分子工程学院的大二学生同场竞技。这是一场精心设计的“图灵测试”,也是北大科研团队为大语言模型投下的一块“试金石”。

为什么要费尽周折重新出题?

“因为大模型太会‘背书’了。”团队成员解释道。互联网可及的测试题大多已被博闻强识的AI在训练阶段熟读。而化学,恰恰是一门不能只靠死记硬背的学科。它既有严密的逻辑推演,又充满了对微观世界的空间想象。“我们非常好奇,大语言模型的一维next token prediction,能否解决二维、甚至三维空间中的复杂推理问题。”

考试成绩揭晓,在这场精心设计的考试中,人类展现出了复杂的科学直觉。作为基线,参与测试的北大化院本科生取得了40.3%的平均准确率。这个数字本身,就足以说明这套题目的硬核程度。而AI的表现如何?即便是接受测试的顶尖模型,其成绩也仅与低年级本科生的平均水平相当。(每经)