La Hiérarchie des Instructions : Entraîner les LLM à Prioriser les Instructions Privilégiées

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

April 19, 2024

Auteurs: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel

cs.AI

Résumé

Les LLM actuels sont vulnérables aux injections de prompts, aux jailbreaks et à d'autres attaques qui permettent à des adversaires de remplacer les instructions originales d'un modèle par leurs propres prompts malveillants. Dans ce travail, nous soutenons que l'une des principales vulnérabilités sous-jacentes à ces attaques est que les LLM considèrent souvent les prompts système (par exemple, le texte d'un développeur d'application) comme ayant la même priorité que le texte provenant d'utilisateurs non fiables et de tiers. Pour remédier à cela, nous proposons une hiérarchie d'instructions qui définit explicitement comment les modèles doivent se comporter lorsque des instructions de priorités différentes entrent en conflit. Nous proposons ensuite une méthode de génération de données pour démontrer ce comportement de suivi hiérarchique des instructions, qui enseigne aux LLM à ignorer sélectivement les instructions de moindre privilège. Nous appliquons cette méthode à GPT-3.5, montrant qu'elle augmente considérablement la robustesse — même pour des types d'attaques non rencontrés pendant l'entraînement — tout en imposant des dégradations minimales sur les capacités standards.

English

Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts. In this work, we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties. To address this, we propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priorities conflict. We then propose a data generation method to demonstrate this hierarchical instruction following behavior, which teaches LLMs to selectively ignore lower-privileged instructions. We apply this method to GPT-3.5, showing that it drastically increases robustness -- even for attack types not seen during training -- while imposing minimal degradations on standard capabilities.