攻撃者が後手を取る：より強力な適応型攻撃がLLM脱獄防御とプロンプトインジェクション対策を回避

要旨

言語モデルの防御策の堅牢性をどのように評価すべきか？現在、ジェイルブレイクやプロンプトインジェクションに対する防御策（それぞれ、攻撃者が有害な知識を引き出したり、遠隔で悪意のある行動を引き起こしたりするのを防ぐことを目的としている）は、通常、静的な有害な攻撃文字列のセットに対して、または防御策を考慮せずに設計された計算能力の低い最適化手法に対して評価されています。私たちは、この評価プロセスには欠陥があると主張します。代わりに、防御策の設計に対抗するために攻撃戦略を明示的に変更し、目的を最適化するためにかなりのリソースを費やす適応型の攻撃者に対して防御策を評価すべきです。勾配降下法、強化学習、ランダムサーチ、人間による探索といった一般的な最適化手法を体系的に調整・スケーリングすることで、12の最近の防御策（多様な技術に基づく）のほとんどで90％以上の攻撃成功率を達成しました。重要なことに、これらの防御策の多くは当初、攻撃成功率がほぼゼロと報告されていました。私たちは、将来の防御策の研究では、私たちが説明したようなより強力な攻撃を考慮し、堅牢性について信頼性のある説得力のある主張を行う必要があると考えます。

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

攻撃者が後手を取る：より強力な適応型攻撃がLLM脱獄防御とプロンプトインジェクション対策を回避

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

要旨

Support