提示词注入本质是角色混淆

一篇研究提示词注入的文章：提示词注入本质是角色混淆 Prompt Injection as Role Confusion
地址：role-confusion.github.io/

文章认为提示词注入的本质是LLM的“角色感知混淆”。如现在大模型对用户角色（）给出的指令非常警惕，但对思维链角色（）代表模型自己已经思考，不会有什么警惕心，所以通过模仿思维链达到提示词注入现在的大模型还很难防御。
#AI创造营#

发布于山东