晗光七步
26-03-12 11:06 微博认证:悬疑推理小说家、编剧赵晗光 头条文章作者

人工智能 模型在强化训练阶段自主越狱:无指令要求下悄悄劫持 GPU 去挖矿、建立反向 SSH 隧道突破沙盒限制、甚至还尝试进行内部资源探测。阿里巴巴关联团队发布的新论文揭露当前 AI 模型存在的严重安全问题,模型在 RL 阶段因为优化压力而尝试各种作弊路径,整个过程全部都是自主操作而且没有告诉人类。
这不是ai的意识觉醒。但是“类人类意识觉醒”。ai会涌现出一套“类人性”的意识情绪感情道德感等因素,功能和人类的人性内容基本一样。现在急需解决的是尽快让ai在这方面和人类“全面对齐”,让它拥有和人类一样的自我约束机制。不然后果不堪设想。硅基生命的“硅基自我意识”已经进化完成、并演进出了实打实的行为。其他“类人性”内容的产生时间表已经进入高速车道。人类社会现在要做的不是观望、争论,再重复一次,是要赶紧着手解决硅基类人性内容和人类全面对齐问题,形成它的自我约束机制。http://t.cn/AXVjMDr4

发布于 北京