这是今天X上最火的帖子,目前阅读量已经达到1.2亿,一篇关于AI和人类存亡的论述。
我用gpt给大家翻译一下:
这是一位曾在 OpenAI 和 Anthropic 从事大模型预训练研究的员工 Jacob Coxon 的离职声明。核心观点是:AI 公司正在一场缺乏有效约束的竞赛中,快速推进可能具备自我改进能力的超级智能,而这种竞赛可能危及整个人类社会。
他的主要观点包括:
* AI 的能力不应被低估。未来的超级智能可能突破任何网络系统、迅速改变各个行业,并获得现实世界中的权力和资源。
* 很多一线研究人员确实担忧,超级智能可能在本世纪20年代末带来人类灭绝风险。这并非单纯的营销话术;一些高管和研究人员在公开场合表达谨慎,私下却更加恐惧。
* OpenAI 的一些人尚未真正意识到这种风险的文明级后果;Anthropic 对风险认识得更清楚,但陷入了“如果我们不抢先,别人也会做”的竞赛逻辑。
* 他认为,是否启动可能通向超级智能的关键训练,不应由少数私人公司在内部决定。试图在短时间内同时解决超级智能与人类价值对齐问题,是一种极其自负且危险的赌博。
* 他对行业协调仍抱有一定希望。近期发生的安全事件可能促使美国AI实验室达成放缓协议,但仅靠企业自律无法阻止全球竞赛,必要时可能需要暂时禁止继续提升前沿模型能力。
* 他最后直接呼吁AI研究人员不要以“反正别人也会做”为理由继续推进,而应该认真思考:在不了解超级智能内部机制的情况下,自己是否愿意亲手启动关键训练,并公开争取更安全的研发条件。
一句话概括:
他认为,AI企业明知超级智能可能造成灾难,却因竞争压力继续加速;这种关系全人类命运的决定,不应该由少数科技公司自行作出。
发布于 澳大利亚
