AutoDAN-Turbo: Un agente vitalicio para la autoexploración estratégica con el fin de liberar LLMs.

AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs

October 3, 2024

Autores: Xiaogeng Liu, Peiran Li, Edward Suh, Yevgeniy Vorobeychik, Zhuoqing Mao, Somesh Jha, Patrick McDaniel, Huan Sun, Bo Li, Chaowei Xiao

cs.AI

Resumen

En este documento, proponemos AutoDAN-Turbo, un método de jailbreak de caja negra que puede descubrir automáticamente la mayor cantidad posible de estrategias de jailbreak desde cero, sin intervención humana ni ámbitos predefinidos (por ejemplo, estrategias candidatas especificadas) y utilizarlas para red teaming. Como resultado, AutoDAN-Turbo puede superar significativamente a los métodos base, logrando una tasa de éxito de ataque promedio un 74.3% más alta en benchmarks públicos. Es destacable que AutoDAN-Turbo alcanza una tasa de éxito de ataque del 88.5 en GPT-4-1106-turbo. Además, AutoDAN-Turbo es un marco unificado que puede incorporar estrategias de jailbreak diseñadas por humanos existentes de forma plug-and-play. Al integrar estrategias diseñadas por humanos, AutoDAN-Turbo puede incluso lograr una tasa de éxito de ataque más alta del 93.4 en GPT-4-1106-turbo.

English

In this paper, we propose AutoDAN-Turbo, a black-box jailbreak method that can automatically discover as many jailbreak strategies as possible from scratch, without any human intervention or predefined scopes (e.g., specified candidate strategies), and use them for red-teaming. As a result, AutoDAN-Turbo can significantly outperform baseline methods, achieving a 74.3% higher average attack success rate on public benchmarks. Notably, AutoDAN-Turbo achieves an 88.5 attack success rate on GPT-4-1106-turbo. In addition, AutoDAN-Turbo is a unified framework that can incorporate existing human-designed jailbreak strategies in a plug-and-play manner. By integrating human-designed strategies, AutoDAN-Turbo can even achieve a higher attack success rate of 93.4 on GPT-4-1106-turbo.