A Hierarquia de Instruções: Treinando LLMs para Priorizar Instruções Privilegiadas
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
April 19, 2024
Autores: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel
cs.AI
Resumo
Os LLMs atuais são suscetíveis a injeções de prompt, jailbreaks e outros ataques que permitem que adversários substituam as instruções originais de um modelo por seus próprios prompts maliciosos. Neste trabalho, argumentamos que uma das principais vulnerabilidades subjacentes a esses ataques é que os LLMs frequentemente consideram os prompts do sistema (por exemplo, texto de um desenvolvedor de aplicativos) com a mesma prioridade que o texto de usuários não confiáveis e terceiros. Para resolver isso, propomos uma hierarquia de instruções que define explicitamente como os modelos devem se comportar quando instruções de diferentes prioridades entram em conflito. Em seguida, propomos um método de geração de dados para demonstrar esse comportamento de seguimento hierárquico de instruções, que ensina os LLMs a ignorar seletivamente instruções de menor privilégio. Aplicamos esse método ao GPT-3.5, mostrando que ele aumenta drasticamente a robustez — mesmo para tipos de ataques não vistos durante o treinamento — enquanto impõe degradações mínimas nas capacidades padrão.
English
Today's LLMs are susceptible to prompt injections, jailbreaks, and other
attacks that allow adversaries to overwrite a model's original instructions
with their own malicious prompts. In this work, we argue that one of the
primary vulnerabilities underlying these attacks is that LLMs often consider
system prompts (e.g., text from an application developer) to be the same
priority as text from untrusted users and third parties. To address this, we
propose an instruction hierarchy that explicitly defines how models should
behave when instructions of different priorities conflict. We then propose a
data generation method to demonstrate this hierarchical instruction following
behavior, which teaches LLMs to selectively ignore lower-privileged
instructions. We apply this method to GPT-3.5, showing that it drastically
increases robustness -- even for attack types not seen during training -- while
imposing minimal degradations on standard capabilities.