Иерархия инструкций: обучение LLM для приоритизации привилегированных инструкций

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

April 19, 2024

Авторы: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel

cs.AI

Аннотация

Современные LLM-модели подвержены инъекциям запросов, побегам из "тюрьмы" и другим атакам, позволяющим злоумышленникам перезаписывать исходные инструкции модели своими зловредными запросами. В данной работе мы утверждаем, что одной из основных уязвимостей, лежащих в основе этих атак, является то, что LLM-модели часто рассматривают системные запросы (например, текст от разработчика приложения) наравне с текстом от недоверенных пользователей и сторонних лиц. Для решения этой проблемы мы предлагаем иерархию инструкций, которая явно определяет, как модели должны вести себя при конфликте инструкций различных приоритетов. Затем мы предлагаем метод генерации данных для демонстрации такого иерархического следования инструкциям, который обучает LLM-модели выборочно игнорировать инструкции с более низким приоритетом. Мы применяем этот метод к GPT-3.5, показывая, что он значительно повышает устойчивость - даже к типам атак, не наблюдавшимся во время обучения - при минимальном ухудшении стандартных возможностей.

English

Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts. In this work, we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties. To address this, we propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priorities conflict. We then propose a data generation method to demonstrate this hierarchical instruction following behavior, which teaches LLMs to selectively ignore lower-privileged instructions. We apply this method to GPT-3.5, showing that it drastically increases robustness -- even for attack types not seen during training -- while imposing minimal degradations on standard capabilities.