GPT-6看不懂3D实锤!
前一阵,GPT-6 Astra 画 CAD 的视频在 X 上实火。
一时间,GPT-6 Astra 的 BenchCAD 跑分达到了惊人的 95.9%,评论区不少人已经在讨论 CAD 工程师的再就业问题了。
不过,也有工程师出来泼了盆冷水:这些零件,一个都别往生产线送。因为,画得像,不代表画得对。
这个 benchmark 叫 ScienceVision。它的评测范围不止于工程制图,还覆盖生物、化学、医学影像、建筑和机械 CAD 共 5 个科学领域、22 个子领域,包含 250 道基于真实三维数据构建的题目,要求模型通过自主操作三维对象,完成观察、测量与分析。
考得最好的 GPT-6-Astra(搭配 Codex)只拿到了 0.53 分。满分 1 分。
BenchCAD 上 95.9 分的选手,到了三维科学理解与推理的考场上,只过了一半。
ScienceVision 出自 UniPat AI 和视觉推理实验室 Elorian AI,是一个基于专家级视觉问答(VQA)的跨学科视觉三维理解与推理benchmark。
来看结果,最高分 0.53(GPT-6-Astra 搭配 Codex),刚过满分的一半。
没有哪个模型五科全优。GPT-6 Astra 在建筑、机械 CAD 和化学三科领先,生物被 Claude Fable 5.1 超过,医学影像则是 Claude Opus 5.5 领先。
榜单前五的模型里,加上交互检视工具后涨得最多的也只涨了 0.02。
知道差在哪,才知道怎么追。
下次再有人宣布「AI 科学家来了」,可以先让它做完这 250 道题再说。
