O Atacante Move em Segundo: Ataques Adaptativos Mais Fortes Contornam Defesas Contra Jailbreaks de LLMs e Injeções de Prompt

Resumo

Como devemos avaliar a robustez das defesas dos modelos de linguagem? As defesas atuais contra jailbreaks e injeções de prompt (que visam impedir que um atacante elicie conhecimento prejudicial ou acione remotamente ações maliciosas, respectivamente) são tipicamente avaliadas contra um conjunto estático de strings de ataque prejudiciais ou contra métodos de otimização computacionalmente fracos que não foram projetados considerando a defesa. Argumentamos que esse processo de avaliação é falho. Em vez disso, devemos avaliar as defesas contra atacantes adaptativos que modificam explicitamente sua estratégia de ataque para contornar o design da defesa, enquanto investem recursos consideráveis para otimizar seu objetivo. Ao ajustar e escalar sistematicamente técnicas gerais de otimização—descida de gradiente, aprendizado por reforço, busca aleatória e exploração guiada por humanos—contornamos 12 defesas recentes (baseadas em um conjunto diversificado de técnicas) com uma taxa de sucesso de ataque acima de 90% na maioria dos casos; importante destacar que a maioria das defesas originalmente relatava taxas de sucesso de ataque próximas a zero. Acreditamos que trabalhos futuros em defesa devem considerar ataques mais fortes, como os que descrevemos, para fazer afirmações confiáveis e convincentes sobre robustez.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

O Atacante Move em Segundo: Ataques Adaptativos Mais Fortes Contornam Defesas Contra Jailbreaks de LLMs e Injeções de Prompt

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

Resumo

Support