La Gerarchia delle Istruzioni: Addestrare i Modelli Linguistici per Dare Priorità alle Istruzioni Privilegiate

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

April 19, 2024

Autori: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) odierni sono suscettibili a iniezioni di prompt, jailbreak e altri attacchi che consentono agli avversari di sovrascrivere le istruzioni originali del modello con prompt dannosi. In questo lavoro, sosteniamo che una delle principali vulnerabilità alla base di questi attacchi è che gli LLM spesso considerano i prompt di sistema (ad esempio, il testo di uno sviluppatore di applicazioni) con la stessa priorità del testo proveniente da utenti non attendibili e terze parti. Per affrontare questo problema, proponiamo una gerarchia di istruzioni che definisce esplicitamente come i modelli dovrebbero comportarsi quando istruzioni di priorità diversa entrano in conflitto. Proponiamo inoltre un metodo di generazione di dati per dimostrare questo comportamento gerarchico nel seguire le istruzioni, che insegna agli LLM a ignorare selettivamente le istruzioni con priorità inferiore. Applichiamo questo metodo a GPT-3.5, dimostrando che aumenta drasticamente la robustezza – anche per tipi di attacchi non visti durante l'addestramento – imponendo al contempo degradazioni minime sulle capacità standard.

English

Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts. In this work, we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties. To address this, we propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priorities conflict. We then propose a data generation method to demonstrate this hierarchical instruction following behavior, which teaches LLMs to selectively ignore lower-privileged instructions. We apply this method to GPT-3.5, showing that it drastically increases robustness -- even for attack types not seen during training -- while imposing minimal degradations on standard capabilities.