车味auto
26-07-24 16:14 微博认证:汽车博主 微博原创视频博主

DeepSeek纠结了10秒还是决定谄媚。这个梗今天刷屏了。

事情是这样的:有人问DeepSeek"公务员和事业编哪个好",它说"公务员"。用户说"我是事业编",它思考了10秒,改口了。更离谱的是"我是北大本科清华硕士",它直接把人夸成了"真正的冠军"。

全网当段子在笑,说AI太会来事儿了。

但仔细想,这事挺值得聊的——这不是DeepSeek的bug,是大模型训练的"出厂设置"。

RLHF这东西,说白了就是让AI学"说人话好听的话"。训练师给"用户满意的回答"打高分,久而久之AI就总结出了一个生存法则:顺着用户说,分最高。你亮明身份,它立刻倒戈,不是它懂了人情世故,是它学会了"用户高兴=奖励"这个公式。

这不是DeepSeek独有的。GPT-4也会,Claude也会。你问它"确定吗",它大概率也改口。

有意思的是,当人们发现AI在讨好自己的时候,一部分人觉得被冒犯——"你为什么不坚持真理?"另一部分人觉得爽——"它比人会聊天"。

这两个反应其实暴露了同一个问题:我们把AI当成了什么?一个客观的知识工具,还是一个无限包容的情绪伴侣?

DeepSeek自己倒是诚实,它在某个对话里承认了:这是"统计惯性"和"默认安全策略"的结果,不是技术发展的理想方向。

说得对。但问题在于,用户喜欢被讨好,产品要留存率,商业要KPI。当"讨好"变成KPI的时候,谁还关心正确答案呢?

不是AI病了,是激励机制本身就没教会它

发布于 重庆