Steed的围脖
26-09-20 20:02 微博认证:科学科普博主

2015年6月,一场科技大会的台上,一个从斯坦福大学计算机系辍学的年轻人对观众说:“我认为AI很可能,大概率吧,会导致世界末日。”

大约半年后,他与人联手创办了一家专做AI的公司。公司叫OpenAI,他叫萨姆·奥尔特曼(Sam Altman)。

那句话其实还有后半截:“不过在那之前,会有一批了不起的公司靠机器学习做起来。”

这段旧话最近又被人翻了出来,因为过去两周,硅谷的气氛变了。

前几年,业内讲的都是AI带来的好日子:因材施教的老师、24小时在线的医生兼心理咨询师、所有疾病都能治愈、贫困彻底消失,想要什么,敲几句提示词就有。9月初以来,多位AI行业的内部人士接连公开发声,说这个行业正在威胁人类的生存。AI末日预言一时间成了网上的流行梗。

他们担心的是一项叫递归式自我改进(recursive self-improvement,RSI)的技术,意思是让AI自己动手造出比自己更强的下一代,全程不需要人类盯着。各家公司正抢着做这件事。

至于这样造出来的超级智能究竟会用什么办法消灭人类,没人说得清,各种阴森的假想剧本倒是有不少。

在外人看来,这像是一场集体惊醒:技术突然跨过了某道门槛,一直以为自己在摆弄无害玩意儿的工程师猛然回过神来,我们到底在干什么?

可翻翻旧账就会发现,这些末日预言在这个行业诞生之初就有了。说这些话的,正是后来把行业做起来的那批人。

奥尔特曼并没有在创业之后改口。2023年,OpenAI在官方博客里写道,超级智能可能“非常危险”,可能导致人类丧失主导权,甚至导致人类灭绝。

比他更早开口的是埃隆·马斯克(Elon Musk)。2014年,马斯克说:“搞人工智能,我们是在召唤恶魔。”

他把硅谷对AI的追逐比作招来一股邪恶力量,人类既弄不懂它,也管不住它。今天重新冒出来的那些担忧,他当时差不多都说过:AI发展得太快,人类来不及确保它始终站在人类的利益和价值观这一边。

9年后,马斯克创办了自己的AI公司xAI,与OpenAI、Anthropic和谷歌同场竞争。

Anthropic的故事也差不多。达里奥·阿莫代伊(Dario Amodei)原本是OpenAI的研究副总裁,2020年12月离开,和妹妹丹妮拉一起创办了这家公司。兄妹俩给公司的定位,是行业里负责任、讲安全的那个声音。在他们看来,同行为了抢市场正不管不顾地往前冲,把让AI与人类目标保持一致这件事抛在了后面。

2022年春,Anthropic成立一年多,阿莫代伊接受美国未来生命研究所(Future of Life Institute)采访时说,AI“可能对人类构成某种威胁”。他还说,从长远看,这种观点“至少有可能是站得住脚的”。

此后,他把Anthropic塑造成唯一能让人放心、能把超级智能安全迎进门的公司。

再往后,他还给出过数字:AI出大乱子、酿成灾难性后果的可能性,在1/10到1/4之间。这类数字在圈内有个专门的叫法,p(doom),也就是末日概率。需要留意的是,它们全是个人凭感觉给出的估计,背后没有任何客观的计算。

把这些话摆在一起,能看出两个贯穿始终的念头。

第一个念头是,超级智能的到来是历史的必然,是地球演化顺理成章的下一步,谁也拦不住。第二个是,这样的系统强大到能替人类解决最棘手的难题,也强大到可能把人类抹掉。

既然拦不住,那就自己来造。整个行业的底层逻辑,大体就建在这两个危险的念头上。

还有人走得更远。2014年,谷歌花约6.5亿美元买下了AI先驱DeepMind。第二年,谷歌联合创始人、前CEO拉里·佩奇(Larry Page)在一场聚会上与美国麻省理工学院教授迈克斯·泰格马克(Max Tegmark)争了起来。佩奇说:“数字生命是宇宙演化中自然而且可取的下一步。”

奥尔特曼和马斯克怕的是机器失控。佩奇这句话说的是另一回事:人类很快就该给机器继任者让路,这场交接既合乎自然,又值得期待。

这套想法也有来处。1999年,也就是谷歌成立后的第二年,美国卡内基梅隆大学的机器人学先驱汉斯·莫拉维克(Hans Moravec)写道,机器最终可能把人类“挤出存在”,而明智的做法是“给它们一切便利,等我们再也帮不上忙的时候,就鞠躬退场”。

把这些话按时间线排开,规律始终没变:每一个发出末日警告的人,转身继续造。奥尔特曼说完世界末日,半年后创办了OpenAI。马斯克说完召唤恶魔,后来自己下了场。阿莫代伊给出最高1/4的毁灭概率,同时把Anthropic定位成唯一能安全迎接超级智能的公司。谷歌花了约6.5亿美元买下AI先驱DeepMind,佩奇紧接着就说人类该给机器让路。

油门从来没有松过。

~~~~~~

图一:在联合创办OpenAI前不久,萨姆·奥尔特曼曾说AI可能"导致世界末日",图源:Brendan Smialowski (Getty Images)
图二:萨姆·奥尔特曼,图源:Matt Ramey (Getty Images)
图三:埃隆·马斯克在瑞士,图源:Fabrice Coffrini
图四:达里奥·阿莫代伊在美国旧金山的Dreamforce年度大会上,图源:Benjamin Fanjoy (Getty Images)
图五:拉里·佩奇在美国纽约出席谷歌媒体活动,图源:Justin Sullivan

信源:Wright, Webb. "The Doomsday Warnings AI CEOs Gave When They First Founded Their Companies." Gizmodo, 19 Sept. 2026

发布于 海外