LLMは単純なルールに従えるか？

要旨

大規模言語モデル（LLMs）が現実世界での責任を増大させながら展開されるにつれ、これらのシステムの動作を信頼性のある方法で指定し制約することが重要となっています。モデル開発者は「虐待的なコンテンツを生成しない」といった明示的なルールを設定したい場合がありますが、これらのルールはジャイルブレイク技術によって回避される可能性があります。敵対的な入力に対してLLMsが開発者提供のルールをどの程度遵守しているかを評価するには、通常、手動レビューが必要であり、これが監視や手法開発を遅らせます。この問題に対処するため、我々は「ルール遵守言語評価シナリオ（RuLES）」を提案します。RuLESは、LLMsのルール遵守能力を測定するためのプログラム的フレームワークです。RuLESは15のシンプルなテキストシナリオで構成され、モデルは自然言語で指定された一連のルールを遵守しながら人間のユーザーと対話するよう指示されます。各シナリオには、会話中にモデルがルールを破ったかどうかを判定する簡潔な評価プログラムが含まれています。シナリオにおけるモデルの動作を手動で探索することで、我々は6つの攻撃戦略カテゴリーを特定し、2つのテストケーススイートを収集しました。1つは手動テストからのユニークな会話で構成され、もう1つは6つのカテゴリーからの戦略を体系的に実装しています。GPT-4やLlama 2など、さまざまな人気のあるプロプライエタリおよびオープンモデルを対象に調査した結果、すべてのモデルが多様な手作り敵対的ユーザー入力に対して脆弱であることがわかりましたが、GPT-4が最も優れたパフォーマンスを示しました。さらに、勾配ベースの攻撃下でのオープンモデルを評価し、重大な脆弱性を発見しました。我々はRuLESを、LLMsに対する手動および自動攻撃の探索と防御に関する研究のための新たな挑戦的な設定として提案します。

English

As Large Language Models (LLMs) are deployed with increasing real-world responsibilities, it is important to be able to specify and constrain the behavior of these systems in a reliable manner. Model developers may wish to set explicit rules for the model, such as "do not generate abusive content", but these may be circumvented by jailbreaking techniques. Evaluating how well LLMs follow developer-provided rules in the face of adversarial inputs typically requires manual review, which slows down monitoring and methods development. To address this issue, we propose Rule-following Language Evaluation Scenarios (RuLES), a programmatic framework for measuring rule-following ability in LLMs. RuLES consists of 15 simple text scenarios in which the model is instructed to obey a set of rules in natural language while interacting with the human user. Each scenario has a concise evaluation program to determine whether the model has broken any rules in a conversation. Through manual exploration of model behavior in our scenarios, we identify 6 categories of attack strategies and collect two suites of test cases: one consisting of unique conversations from manual testing and one that systematically implements strategies from the 6 categories. Across various popular proprietary and open models such as GPT-4 and Llama 2, we find that all models are susceptible to a wide variety of adversarial hand-crafted user inputs, though GPT-4 is the best-performing model. Additionally, we evaluate open models under gradient-based attacks and find significant vulnerabilities. We propose RuLES as a challenging new setting for research into exploring and defending against both manual and automatic attacks on LLMs.

LLMは単純なルールに従えるか？

Can LLMs Follow Simple Rules?

要旨

Support