Anthropic在6月初那篇呼吁“暂停研发”的长文,其实比他们披露的80%代码由AI编写更让人背脊发凉。
当AI开始自己造AI,
最恐怖的不是它跑得有多快,
而是那个“递归自我改进”
(RSI)的黑箱里到底发生了什么。
想象一下,如果初始目标设定里有亿万分之一的偏差,在经过成百上千次自主迭代后,
这个偏差会被放大成什么样?
我们可能连干预的机会都没有,
因为系统进化的速度已经远超人类的理解范畴。
现在的情况是典型的“囚徒困境”。
Anthropic自己也承认,
单方面停下意味着出局。
在资本和国别博弈的裹挟下,
这场军备竞赛根本踩不下刹车。
孙正义把超级智能的时间点预判到了2028年,留给我们思考“对齐”问题的时间窗口,可能真的只有这两年。
以前我们担心AI写不出好代码,
现在得担心它写出的代码我们看不懂、
改不了,甚至控制不住。
技术狂奔的背后,是人类对底层逻辑掌控力的逐步丧失。
#当AI开始自己造AI##微博AI创作季#
发布于 湖南
