Атакующий ходит вторым: более мощные адаптивные атаки обходят защиты от взлома LLM и инъекций в промпты

Аннотация

Как следует оценивать устойчивость защитных механизмов языковых моделей? Современные защиты от взлома (jailbreaks) и инъекций в промпты (которые направлены на предотвращение получения вредоносных знаний или удаленного запуска вредоносных действий соответственно) обычно оцениваются либо на основе статичного набора вредоносных строк атак, либо против вычислительно слабых методов оптимизации, которые не были разработаны с учетом конкретной защиты. Мы утверждаем, что такой процесс оценки является ошибочным. Вместо этого защиты следует оценивать против адаптивных атакующих, которые явно изменяют свою стратегию атаки, чтобы противостоять дизайну защиты, при этом затрачивая значительные ресурсы на оптимизацию своей цели. Систематически настраивая и масштабируя общие методы оптимизации — градиентный спуск, обучение с подкреплением, случайный поиск и исследование с участием человека — мы обходим 12 недавних защит (основанных на разнообразных методах) с успешностью атак выше 90% для большинства; что важно, большинство этих защит изначально сообщали о почти нулевой успешности атак. Мы считаем, что будущие работы по защите должны учитывать более сильные атаки, подобные описанным нами, чтобы делать надежные и убедительные заявления об устойчивости.

English

How should we evaluate the robustness of language model defenses? Current defenses against jailbreaks and prompt injections (which aim to prevent an attacker from eliciting harmful knowledge or remotely triggering malicious actions, respectively) are typically evaluated either against a static set of harmful attack strings, or against computationally weak optimization methods that were not designed with the defense in mind. We argue that this evaluation process is flawed. Instead, we should evaluate defenses against adaptive attackers who explicitly modify their attack strategy to counter a defense's design while spending considerable resources to optimize their objective. By systematically tuning and scaling general optimization techniques-gradient descent, reinforcement learning, random search, and human-guided exploration-we bypass 12 recent defenses (based on a diverse set of techniques) with attack success rate above 90% for most; importantly, the majority of defenses originally reported near-zero attack success rates. We believe that future defense work must consider stronger attacks, such as the ones we describe, in order to make reliable and convincing claims of robustness.

Атакующий ходит вторым: более мощные адаптивные атаки обходят защиты от взлома LLM и инъекций в промпты

The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections

Аннотация

Support