El atacante mueve segundo: ataques adaptativos más potentes evitan las defensas contra jailbreaks de LLM e inyecciones de prompts

Resumen

¿Cómo deberíamos evaluar la robustez de las defensas de los modelos de lenguaje? Las defensas actuales contra jailbreaks e inyecciones de prompts (que buscan evitar que un atacante obtenga conocimiento dañino o active acciones maliciosas de forma remota, respectivamente) suelen evaluarse ya sea contra un conjunto estático de cadenas de ataque dañinas, o contra métodos de optimización computacionalmente débiles que no fueron diseñados teniendo en cuenta la defensa. Argumentamos que este proceso de evaluación es defectuoso. En su lugar, deberíamos evaluar las defensas contra atacantes adaptativos que modifican explícitamente su estrategia de ataque para contrarrestar el diseño de una defensa, mientras dedican recursos considerables para optimizar su objetivo. Al ajustar y escalar sistemáticamente técnicas generales de optimización—descenso de gradiente, aprendizaje por refuerzo, búsqueda aleatoria y exploración guiada por humanos—eludimos 12 defensas recientes (basadas en un conjunto diverso de técnicas) con una tasa de éxito de ataque superior al 90% en la mayoría; de manera importante, la mayoría de estas defensas originalmente reportaron tasas de éxito de ataque cercanas a cero. Creemos que el trabajo futuro en defensas debe considerar ataques más fuertes, como los que describimos, para hacer afirmaciones confiables y convincentes sobre la robustez.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

El atacante mueve segundo: ataques adaptativos más potentes evitan las defensas contra jailbreaks de LLM e inyecciones de prompts

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

Resumen

Support