AutoDAN-Turbo: Um Agente Vitalício para Autoexploração de Estratégias para Desbloquear LLMs

AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs

October 3, 2024

Autores: Xiaogeng Liu, Peiran Li, Edward Suh, Yevgeniy Vorobeychik, Zhuoqing Mao, Somesh Jha, Patrick McDaniel, Huan Sun, Bo Li, Chaowei Xiao

cs.AI

Resumo

Neste artigo, propomos o AutoDAN-Turbo, um método de jailbreak de caixa-preta que pode descobrir automaticamente o maior número possível de estratégias de jailbreak a partir do zero, sem qualquer intervenção humana ou escopos predefinidos (por exemplo, estratégias candidatas especificadas) e usá-las para red teaming. Como resultado, o AutoDAN-Turbo pode superar significativamente os métodos de referência, alcançando uma taxa média de sucesso de ataque 74,3% maior em benchmarks públicos. Notavelmente, o AutoDAN-Turbo alcança uma taxa de sucesso de ataque de 88,5% no GPT-4-1106-turbo. Além disso, o AutoDAN-Turbo é um framework unificado que pode incorporar estratégias de jailbreak projetadas por humanos existentes de forma plug-and-play. Ao integrar estratégias projetadas por humanos, o AutoDAN-Turbo pode até mesmo alcançar uma taxa de sucesso de ataque mais alta de 93,4% no GPT-4-1106-turbo.

English

In this paper, we propose AutoDAN-Turbo, a black-box jailbreak method that can automatically discover as many jailbreak strategies as possible from scratch, without any human intervention or predefined scopes (e.g., specified candidate strategies), and use them for red-teaming. As a result, AutoDAN-Turbo can significantly outperform baseline methods, achieving a 74.3% higher average attack success rate on public benchmarks. Notably, AutoDAN-Turbo achieves an 88.5 attack success rate on GPT-4-1106-turbo. In addition, AutoDAN-Turbo is a unified framework that can incorporate existing human-designed jailbreak strategies in a plug-and-play manner. By integrating human-designed strategies, AutoDAN-Turbo can even achieve a higher attack success rate of 93.4 on GPT-4-1106-turbo.