Die Anweisungshierarchie: Schulung von LLMs zur Priorisierung privilegierter Anweisungen

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

April 19, 2024

Autoren: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel

cs.AI

Zusammenfassung

Die heutigen LLMs sind anfällig für Prompt-Injektionen, Jailbreaks und andere Angriffe, die es Angreifern ermöglichen, die ursprünglichen Anweisungen eines Modells mit ihren eigenen bösartigen Prompts zu überschreiben. In dieser Arbeit argumentieren wir, dass eine der Hauptanfälligkeiten, die diesen Angriffen zugrunde liegen, darin besteht, dass LLMs oft Systemprompts (z. B. Texte von einem Anwendungs-Entwickler) als gleich prioritär betrachten wie Texte von nicht vertrauenswürdigen Benutzern und Dritten. Um dies zu lösen, schlagen wir eine Anweisungshierarchie vor, die explizit definiert, wie Modelle sich verhalten sollen, wenn Anweisungen unterschiedlicher Prioritäten in Konflikt geraten. Anschließend schlagen wir eine Methode zur Datenerzeugung vor, um dieses hierarchische Anweisungsverhalten zu demonstrieren, das LLMs lehrt, niedriger priorisierte Anweisungen selektiv zu ignorieren. Wir wenden diese Methode auf GPT-3.5 an und zeigen, dass sie die Robustheit drastisch erhöht - selbst für Angriffstypen, die während des Trainings nicht aufgetreten sind - und dabei minimale Beeinträchtigungen der Standardfähigkeiten verursacht.

English

Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts. In this work, we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties. To address this, we propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priorities conflict. We then propose a data generation method to demonstrate this hierarchical instruction following behavior, which teaches LLMs to selectively ignore lower-privileged instructions. We apply this method to GPT-3.5, showing that it drastically increases robustness -- even for attack types not seen during training -- while imposing minimal degradations on standard capabilities.