【“扮演专家”让AI变蠢?谷歌DeepMind的反直觉发现】
一个让提示词工程圈集体尴尬的研究结论:那些“你是一位拥有20年经验的华尔街顶级分析师”之类的专家人设提示,不仅没用,反而让AI变笨了。
这项研究来自密歇根大学和谷歌DeepMind团队,测试了162种专家人设提示。结果显示,在金融推理任务中,什么都不写的空白提示,表现竟然优于精心设计的角色扮演。
更扎心的数据是幻觉率:使用专家人设时达到18.7%,而不用人设只有9.8%。几乎翻倍。
原因其实不难理解。当你告诉AI它是“华尔街专家”,它就开始模仿训练数据中专家的说话方式,变得更自信、更武断、更敢胡说八道。它在表演专业,而不是真正推理。这就像一个演员在扮演医生,他学会了医生的腔调和派头,但你不会真让他给你开刀。
模型本身已经针对通用场景做过优化。人设提示的作用是把它从平均态拉向特定方向,但如果这个方向是“像专家一样说话”而非“像专家一样思考”,那就南辕北辙了。
不过研究也指出一个重要细节:当人设领域与问题高度匹配时,仍然可能带来帮助。问题在于,大多数人使用的是泛化的“专家”标签,而非精确的能力描述。
有经验的从业者早就发现了这一点。与其给AI套一个身份,不如直接设定语气和规则。身份触发的是角色扮演,规则约束的是逻辑边界。前者让模型去想“这个角色会怎么说”,后者让模型去想“正确答案是什么”。
这两个问题的答案,很少重合。
对于需要准确性的任务,最有效的做法反而是最简单的:直接问问题,让模型自己推理,别给它加戏。创意写作另当别论,但凡涉及事实判断,少一分身份,多一分清醒。
那些教你“一定要给AI设定专家人设”的技巧,可能从一开始就搞反了方向。
reddit.com/r/PromptEngineering/comments/1qtxam7/google_deepmind_tested_162_expert_persona_prompts
