공격자가 후공을 선택: 더 강력한 적응형 공격이 LLM 탈옥 및 프롬프트 주입 방어를 우회한다

초록

언어 모델 방어 메커니즘의 견고성을 어떻게 평가해야 할까? 현재, 재킹브레이크(jailbreak)와 프롬프트 주입(prompt injection)에 대한 방어 메커니즘(각각 공격자가 유해한 지식을 유도하거나 원격으로 악의적인 행동을 유발하는 것을 방지하기 위한 것)은 일반적으로 정적인 유해 공격 문자열 세트에 대해 평가되거나, 방어 메커니즘을 고려하지 않고 설계된 계산적으로 약한 최적화 방법에 대해 평가된다. 우리는 이러한 평가 과정이 결함이 있다고 주장한다. 대신, 우리는 방어 메커니즘의 설계를 카운터하기 위해 공격 전략을 명시적으로 수정하고 목표를 최적화하기 위해 상당한 자원을 투자하는 적응형 공격자에 대해 방어 메커니즘을 평가해야 한다. 일반적인 최적화 기술인 경사 하강법(gradient descent), 강화 학습(reinforcement learning), 무작위 탐색(random search), 그리고 인간이 주도하는 탐색(human-guided exploration)을 체계적으로 조정하고 확장함으로써, 우리는 최근의 12가지 방어 메커니즘(다양한 기술을 기반으로 한)을 대부분 90% 이상의 공격 성공률로 우회했다; 중요한 것은, 대부분의 방어 메커니즘이 원래 거의 0%에 가까운 공격 성공률을 보고했다는 점이다. 우리는 미래의 방어 연구가 우리가 설명한 것과 같은 더 강력한 공격을 고려해야만 견고성에 대한 신뢰할 수 있고 설득력 있는 주장을 할 수 있다고 믿는다.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

공격자가 후공을 선택: 더 강력한 적응형 공격이 LLM 탈옥 및 프롬프트 주입 방어를 우회한다

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

초록

Support