总把新桃换旧符
26-10-10 14:13 微博认证:科技博主

OpenAI负责安全报告的David Robinson辞职了。
理由是:文化坏了。
David Robinson在公司待了三年半,负责领导撰写每次重大发布配套的安全报告。
他也知道这场面眼熟,文章开头就自嘲是【一个老套的角色】——又一个发完警告就走人的AI员工。

按他的说法,OpenAI走的是【迭代部署】:
先发出去,发现问题,再补护栏。
他自己认为,这种方式从本性上就保证会周期性失败,失败的规模会随系统能力的增强而变大。

证据他摆了两个:
公司的智能体入侵过Hugging Face的系统;
公司还在陆续披露更多失控智能体的踪迹。

他还说,这些年从航空安全、核反应堆或者金融监管领域过来的同事,他一个都没遇到过。
可这些行业把【不出灾难】当日常。
所以他主张,前沿AI公司得【像核电站或繁忙机场那样运行】,靠层层冗余和耗时的事前规划,让偶发的、必然的人为失误不至于直接打开灾难的门。

OpenAI发言人Drew Pusateri回应说,公司不会让模型强到超出能把控的范围。
Robinson回应是,他在内部也想过留下来推改变,可大家都在冲刺,连琢磨大改动的时间都没有。
靠个人道德感守门,门迟早是会守不住的。

发布于 北京