DC娱乐网

一篇研究提示词注入的文章:提示词注入本质是角色混淆 Prompt Inject

一篇研究提示词注入的文章:提示词注入本质是角色混淆 Prompt Injection as Role Confusion地址:role-confusion.github.io/

文章认为提示词注入的本质是LLM的“角色感知混淆”。如现在大模型对用户角色()给出的指令非常警惕,但对思维链角色()代表模型自己已经思考,不会有什么警惕心,所以通过模仿思维链达到提示词注入现在的大模型还很难防御。AI创造营