L'attaccante Muove Secondo: Attacchi Adattivi Più Forti Eludono le Difese Contro Jailbreak di LLM e Iniezioni di Prompt

Abstract

Come dovremmo valutare la robustezza delle difese dei modelli linguistici? Le attuali difese contro i jailbreak e le iniezioni di prompt (che mirano a impedire a un attaccante di elicitare conoscenze dannose o di attivare azioni malevole da remoto, rispettivamente) sono tipicamente valutate o contro un insieme statico di stringhe di attacco dannose, o contro metodi di ottimizzazione computazionalmente deboli che non sono stati progettati tenendo conto della difesa. Sosteniamo che questo processo di valutazione sia imperfetto. Invece, dovremmo valutare le difese contro attaccanti adattivi che modificano esplicitamente la loro strategia di attacco per contrastare il design della difesa, investendo risorse considerevoli per ottimizzare il loro obiettivo. Ottimizzando e scalando sistematicamente tecniche generali di ottimizzazione—discesa del gradiente, apprendimento per rinforzo, ricerca casuale ed esplorazione guidata dall'uomo—superiamo 12 difese recenti (basate su un insieme diversificato di tecniche) con un tasso di successo dell'attacco superiore al 90% nella maggior parte dei casi; in modo significativo, la maggior parte delle difese aveva originariamente riportato tassi di successo dell'attacco vicini allo zero. Crediamo che i futuri lavori sulle difese debbano considerare attacchi più potenti, come quelli che descriviamo, per poter affermare in modo affidabile e convincente la robustezza delle difese.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

L'attaccante Muove Secondo: Attacchi Adattivi Più Forti Eludono le Difese Contro Jailbreak di LLM e Iniezioni di Prompt

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

Abstract

Support