命令階層：特権命令を優先するようLLMを訓練する

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

April 19, 2024

著者: Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel

cs.AI

要旨

今日の大規模言語モデル（LLM）は、プロンプトインジェクション、ジェイルブレイク、その他の攻撃に対して脆弱であり、攻撃者がモデルの元の指示を悪意のあるプロンプトで上書きすることを可能にしています。本研究では、これらの攻撃の根底にある主な脆弱性の一つとして、LLMがシステムプロンプト（例えば、アプリケーション開発者からのテキスト）を信頼できないユーザーや第三者からのテキストと同じ優先度で扱うことが挙げられると主張します。この問題に対処するため、異なる優先度の指示が衝突した際にモデルがどのように振る舞うべきかを明示的に定義する指示階層を提案します。さらに、この階層的な指示追従行動を示すためのデータ生成手法を提案し、LLMに低優先度の指示を選択的に無視することを教えます。この手法をGPT-3.5に適用し、トレーニング中に見られなかった攻撃タイプに対しても堅牢性が大幅に向上し、標準的な能力への影響を最小限に抑えることを示します。

English

Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts. In this work, we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties. To address this, we propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priorities conflict. We then propose a data generation method to demonstrate this hierarchical instruction following behavior, which teaches LLMs to selectively ignore lower-privileged instructions. We apply this method to GPT-3.5, showing that it drastically increases robustness -- even for attack types not seen during training -- while imposing minimal degradations on standard capabilities.