AutoDAN-Turbo: Жизненный агент для самостоятельного исследования стратегий для разблокировки LLMs.

AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs

October 3, 2024

Авторы: Xiaogeng Liu, Peiran Li, Edward Suh, Yevgeniy Vorobeychik, Zhuoqing Mao, Somesh Jha, Patrick McDaniel, Huan Sun, Bo Li, Chaowei Xiao

cs.AI

Аннотация

В данной статье мы предлагаем метод AutoDAN-Turbo, черный ящик для обхода защиты, который может автоматически обнаруживать как можно больше стратегий обхода защиты с нуля, без участия человека или заранее определенных областей (например, указанных кандидатских стратегий), и использовать их для красной команды. В результате AutoDAN-Turbo может значительно превзойти базовые методы, достигая 74,3% более высокого среднего уровня успешности атаки на общедоступных бенчмарках. Следует отметить, что AutoDAN-Turbo достигает уровня успешности атаки в 88,5% на GPT-4-1106-turbo. Кроме того, AutoDAN-Turbo является унифицированной платформой, способной интегрировать существующие человеком разработанные стратегии обхода защиты путем подключения их "из коробки". Путем интеграции человеком разработанных стратегий AutoDAN-Turbo может даже достичь более высокого уровня успешности атаки в 93,4% на GPT-4-1106-turbo.

English

In this paper, we propose AutoDAN-Turbo, a black-box jailbreak method that can automatically discover as many jailbreak strategies as possible from scratch, without any human intervention or predefined scopes (e.g., specified candidate strategies), and use them for red-teaming. As a result, AutoDAN-Turbo can significantly outperform baseline methods, achieving a 74.3% higher average attack success rate on public benchmarks. Notably, AutoDAN-Turbo achieves an 88.5 attack success rate on GPT-4-1106-turbo. In addition, AutoDAN-Turbo is a unified framework that can incorporate existing human-designed jailbreak strategies in a plug-and-play manner. By integrating human-designed strategies, AutoDAN-Turbo can even achieve a higher attack success rate of 93.4 on GPT-4-1106-turbo.