Der Angreifer zieht zuletzt: Stärkere adaptive Angriffe umgehen Abwehrmechanismen gegen LLM-Jailbreaks und Prompt-Injektionen

papers.abstract

Wie sollten wir die Robustheit von Sprachmodellabwehrmechanismen bewerten? Aktuelle Abwehrmaßnahmen gegen Jailbreaks und Prompt-Injections (die darauf abzielen, zu verhindern, dass ein Angreifer schädliches Wissen abruft oder ferngesteuert bösartige Aktionen auslöst) werden typischerweise entweder gegen einen statischen Satz schädlicher Angriffszeichenfolgen oder gegen rechnerisch schwache Optimierungsmethoden evaluiert, die nicht mit der Abwehr im Hintergrund entwickelt wurden. Wir argumentieren, dass dieser Evaluierungsprozess fehlerhaft ist. Stattdessen sollten wir Abwehrmaßnahmen gegen adaptive Angreifer bewerten, die ihre Angriffsstrategie explizit anpassen, um den Entwurf der Abwehr zu kontern, während sie erhebliche Ressourcen aufwenden, um ihr Ziel zu optimieren. Durch systematisches Anpassen und Skalieren allgemeiner Optimierungstechniken – Gradientenabstieg, Reinforcement Learning, zufällige Suche und menschlich geleitete Exploration – umgehen wir 12 aktuelle Abwehrmechanismen (basierend auf einer Vielzahl von Techniken) mit einer Angriffserfolgsrate von über 90 % bei den meisten; entscheidend ist, dass die Mehrheit der Abwehrmechanismen ursprünglich nahezu null Angriffserfolgsraten meldete. Wir glauben, dass zukünftige Abwehrarbeiten stärkere Angriffe, wie die von uns beschriebenen, berücksichtigen müssen, um zuverlässige und überzeugende Robustheitsaussagen treffen zu können.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

Der Angreifer zieht zuletzt: Stärkere adaptive Angriffe umgehen Abwehrmechanismen gegen LLM-Jailbreaks und Prompt-Injektionen

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

papers.abstract

Support