L'attaquant joue en second : des attaques adaptatives plus puissantes contournent les défenses contre les jailbreaks de LLM et les injections de prompts

papers.abstract

Comment devrions-nous évaluer la robustesse des défenses des modèles de langage ? Les défenses actuelles contre les jailbreaks et les injections de prompts (qui visent respectivement à empêcher un attaquant d'extraire des connaissances nuisibles ou de déclencher à distance des actions malveillantes) sont généralement évaluées soit contre un ensemble statique de chaînes d'attaque nuisibles, soit contre des méthodes d'optimisation peu performantes qui n'ont pas été conçues en tenant compte de la défense. Nous soutenons que ce processus d'évaluation est défectueux. À la place, nous devrions évaluer les défenses contre des attaquants adaptatifs qui modifient explicitement leur stratégie d'attaque pour contrer la conception de la défense tout en consacrant des ressources considérables à optimiser leur objectif. En ajustant et en mettant à l'échelle de manière systématique des techniques d'optimisation générales — descente de gradient, apprentissage par renforcement, recherche aléatoire et exploration guidée par l'humain — nous contournons 12 défenses récentes (basées sur un ensemble diversifié de techniques) avec un taux de réussite des attaques supérieur à 90 % pour la plupart ; de manière significative, la majorité de ces défenses avaient initialement rapporté des taux de réussite d'attaque proches de zéro. Nous pensons que les travaux futurs sur les défenses doivent prendre en compte des attaques plus puissantes, comme celles que nous décrivons, afin de formuler des affirmations fiables et convaincantes concernant la robustesse.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

L'attaquant joue en second : des attaques adaptatives plus puissantes contournent les défenses contre les jailbreaks de LLM et les injections de prompts

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

papers.abstract

Support