De aanvaller beweegt als tweede: Sterkere adaptieve aanvallen omzeilen verdedigingen tegen LLM-jailbreaks en promptinjecties

Samenvatting

Hoe moeten we de robuustheid van verdedigingsmechanismen voor taalmodellen evalueren? Huidige verdedigingen tegen jailbreaks en prompt-injecties (die respectievelijk beogen te voorkomen dat een aanvaller schadelijke kennis ontlokt of op afstand kwaadaardige acties activeert) worden doorgaans geëvalueerd tegen een statische set van schadelijke aanvalsreeksen, of tegen computationeel zwakke optimalisatiemethoden die niet zijn ontworpen met de verdediging in gedachten. Wij stellen dat dit evaluatieproces gebrekkig is. In plaats daarvan moeten we verdedigingen evalueren tegen adaptieve aanvallers die hun aanvalsstrategie expliciet aanpassen om het ontwerp van de verdediging te counteren, terwijl ze aanzienlijke middelen inzetten om hun doelstelling te optimaliseren. Door algemene optimalisatietechnieken systematisch af te stemmen en op te schalen—gradiëntdaling, reinforcement learning, willekeurige zoektochten en door mensen geleide exploratie—omzeilen we 12 recente verdedigingen (gebaseerd op een diverse set van technieken) met een aanvalssuccespercentage van boven de 90% voor de meeste; belangrijk is dat de meerderheid van de verdedigingen oorspronkelijk aanvalssuccespercentages rapporteerden die bijna nul waren. Wij geloven dat toekomstig verdedigingswerk sterkere aanvallen, zoals de door ons beschreven, moet overwegen om betrouwbare en overtuigende claims van robuustheid te kunnen maken.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

De aanvaller beweegt als tweede: Sterkere adaptieve aanvallen omzeilen verdedigingen tegen LLM-jailbreaks en promptinjecties

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

Samenvatting

Support