蚁工厂
26-11-18 08:12 微博认证:科技博主

#OpenAI发布GPT6.2Astra# OpenAI发布了 GPT-6.2 Astra 和 GPT-6.2 Sol。官方介绍相比上一代 GPT-6 Astra,新 Astra 的重要优势是能够以更少的 Token、更少的修改轮次完成复杂交付物;相比 GPT-6.1 Sol,新 Sol 则进一步提高日常工作的性价比。具体价格如图。

但刷到的第一篇评测就是:“为什么我讨厌 GPT-6.2 Astra” [允悲] 来自Theo Browne(网络名称 Theo - t3.gg) 是美国科技创业者和网红,开源项目 T3 Stack 的创建者。
其他也有好多很严厉的差评,多到让人觉得有点不正常。。[惊恐]
下面是他的公开信及对人们对此模型预测的反应。
--------------

在早期测试期间,这个模型让我感到极其沮丧,以至于我专门花了一整天给 OpenAI 写了一封信,表达我的不满。

他们确实修复了我提出的少数几个问题,但远远不够。至少现在,我仍然无法推荐大家使用它。

我目前生病卧床,今天没法录视频讨论这个模型,所以决定把那封信全文公开。

说实话,写下这些话让我有点过意不去。但我知道你们会认真倾听,并利用这些反馈打造出更好的模型。

接下来可能会有一点情绪崩溃式的吐槽。

信不信由你,这篇东西完全是我自己手写的,没有借助任何 LLM。(抱歉之前不小心提前发出去了,我以后再也不会在 Slack 里写长篇大论了。)

总之。

我不喜欢 GPT-6.2 Astra。作为一名开发者,我不会在工作中选择它,而放弃 Opus 5.5。

先快速说说它的优点:
- 代码审查非常出色,能够发现其他模型遗漏的问题。
- 偶尔能提出真正令人惊艳的创新方案。它帮我设计了一个新的反向代理方案,每个月能为我节省 2.5 万美元。Opus 在这方面不够大胆,不敢探索那么多可能性。
- 在 3D 和游戏开发方面堪称世界级。
- 操作计算机的能力强得离谱。
- 代码质量有了实质性的提升。
- 很擅长为子 Agent 编写提示词。
接下来,我希望你们明白:我说这些,是因为我真心希望你们做得更好。

我非常希望你们能打造出一款让我每天打开模型选择器时都会主动选择的模型。

但话虽如此:

除了上面这些优点,我真的讨厌这个模型的其他一切。

我甚至不知道该重点批评哪些问题,因为问题实在太多了。

其中一些问题早在之前的 OpenAI 模型里就已经存在,我就不提那些了。

真正让我无法忍受的,是这次出现的一系列糟糕到难以置信的新行为。
1. 它完全不理解什么叫「知识鸿沟」
这个模型在执行长期任务时,能够调用大量子 Agent,而且通常能把它们管理得相当不错。

但接下来,它就会莫名其妙地跑来问你一些关于内部实现细节的狗屁问题,而这些问题你根本不可能知道答案,更别说提供什么有价值的意见了。

我给它发了一条指令:

/goal make a new level for Outer Wilds

(目标:为《星际拓荒》制作一个新关卡。)

结果运行了两个小时以后,任务突然变成了「已阻塞」。

为什么?

因为它非要问我:
r24 的 reviewer 应该把视频片段写入 24_g521.mp4,还是 24_p11.mp4?

我这辈子从来没见过哪个模型会这样。

GPT-5.6 Sol 都不会干这种事。

我完全不知道这种行为是从哪里冒出来的,但它真的糟糕透顶,让我再也不想把长期任务交给它主导。

它让我很难再用这个模型完成任何有意思的项目。

我甚至被迫设置其他 Agent,通过定时任务去检查 GPT-6.2 Astra 有没有又问出什么愚蠢的问题,然后把自己卡住。

这种情况是不是因为我用的是 T3 Code?

有可能,但我觉得可能性不大。

为了确认,我还专门试了 Codex,结果依然遇到了相同的问题。
2. 它说着一种只有 GPT-6.2 Astra 自己才听得懂的语言
这是我今年用过的所有 LLM 里,输出最难理解的一个模型。

我之前已经分享过一些例子,但它就是不知道该如何在完成任务之后,把自己做了什么解释清楚。

每次我让它解释某件事情,它都会陷入极其琐碎的技术细节,深入到一种近乎扭曲事实的程度。

它只见树木,不见森林。

更离谱的是,它还会告诉你:森林里唯一的生命就是那些树。

这种问题真的很难描述,但几乎每次我让它执行复杂任务时都会发生。

我现在甚至已经养成了一个习惯:

每次 GPT-6.2 Astra 完成一个长期任务,我都会切换到 Opus 5.5,让 Opus 帮我把 Astra 的输出重新总结成人类能看懂的话。

否则,只要任务复杂度超过修复一个小 Bug 的程度,我就几乎不可能理解它到底做了什么。

最糟糕的是:

你似乎根本没办法通过提示词纠正这种行为。

我尝试过调整系统提示词。

我甚至求它用「给五岁小孩解释」的方式来说明问题。

举个例子。

我曾经问它,为什么同样的 worktree 操作,在一台机器上特别慢,但在另外三台机器上却很快。

我们做了各种排查,从测试 pnpm 的性能,到在新的文件系统上重新安装整台机器,什么都试过了。

最后我实在受不了了,说:
我感觉自己快疯了。你能不能直接告诉我,到底为什么它这么慢?

GPT-6.2 Astra 给我写了整整四段话,长篇大论地分析 pnpm 的内部实现和缓存机制。

而 Opus 5.5 只说了一句:

「因为 SSD 太慢了。」
3. 它会陷入无休止的循环,却毫无进展
ts-rust 是我启动的一个项目,目标是用 Rust 重写 TypeScript。

我最初创建这个项目,是为了在 OpenAI 新模型开放早期测试时,用它来评估模型能力。(顺便感谢你们提供无限 Token。)

此前,没有任何一个 OpenAI 模型能在这个项目上取得真正的突破。

即使我们已经在这个项目上消耗了价值超过 30 万美元的 Token,依然如此。

后来我决定让 Opus 试试。

结果,Opus 在不到两周的时间里就完成了任务,Token 成本大约只有 2 万美元。

所以,当新的 Astra 发布时,我真的非常非常兴奋。

我迫不及待地想让它来处理这个项目,看看能不能进一步缩小 ts-rust 和其他 Rust 重写版本之间的性能差距。

结果呢?

它连续运行了七天,没有带来任何性能改进。

它把注意力死死锁定在我要求中的一句:

「顺便让它更小一点。」

最终,它成功让编译器的运行速度下降了 56%。

没错,慢了 56%。

于是我明确告诉它:

不要再优化体积了。

把精力全部集中到缩小性能差距上。

然后它又跑了四天。

最终合入的改动:0。

啊啊啊啊啊啊啊啊啊啊啊啊啊——

总之。

这个模型显然非常聪明。

但在真正的项目中与它合作,简直是一种折磨。

它给我的感觉就是:

它完全生活在自己的世界里,然后随机决定要向人类展示自己大脑中的哪些部分。

执行长期任务时,它要么因为一些愚蠢的原因把自己卡住,要么就是原地打转,毫无进展。

执行短期任务时,它写出来的代码还不错,但随后却会用一种比代码本身还复杂的语言解释代码。

我为了理解它的输出而消耗的 Token,甚至比它最初生成那些内容时消耗的还多。

而且,它太容易「回归平均水平」了。

也就是说,它经常会不自觉地生成一些高度趋同、缺乏独创性的东西。

比如,我和 Ben 分别让它为两款完全不同的电子游戏设计独特关卡。

结果,我们俩得到的都是:
- 水
- 音乐
- 钟声
这几个元素构成的关卡。

而且两个关卡都叫:

Bellwether。

完全不同的游戏。

完全不同的提示词。

完全不同的环境配置。

结果不知道为什么,我们竟然得到了相同的名字和相同的主题。

我预测这次发布会如何发展
第 1 天:所有人都会爱上它。

Twitter 会被各种疯狂的「一次生成成功」案例刷屏。

人们会让它把项目从一种编程语言移植到另一种语言,或者完成那些卡了好几年的传奇项目的反编译工作。

它会被用来做很多令人惊叹的事情。

所有人都会兴奋不已。

第 2 天:风向开始逆转。

人们会开始发现,这个模型消耗了多少使用额度,以及相比 Opus,它实际上完成的工作有多少。

他们会开始把有问题的代码合并进自己的项目,因为他们根本看不懂 GPT-6.2 Astra 对代码的解释,但又相信它应该没问题。

他们还会发现,从模型发布那天起就一直在后台运行、后来被自己忘掉的任务循环,到现在仍然没有取得任何进展。

第 5 天:大多数人已经对它失去兴趣。

网上会开始出现各种病毒式传播的帖子:

「Sol 难道偷偷地比 Astra 更强??」

「Astra 是不是已经偷偷变笨了??」

诸如此类。

第 14 天:这个模型基本上已经被人遗忘了。

我真的、真的、真的非常希望我的预测是错的。

我很可能反应过度了。

(我承认,我确实是出了名的容易反应过度。)

我本可以选择先冷静下来,等一段时间,再给你们一个更加客观、克制的评价。

但我最终还是决定现在就把这些话全部说出来。

因为我希望你们知道:

这就是我对这个模型最真实的感受。

抱歉,发了这么一大通牢骚。🙃

发布于 山东