AutoDAN-Turbo: Een levenslange agent voor strategische zelfverkenning om LLMs te jailbreaken.

AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs

October 3, 2024

Auteurs: Xiaogeng Liu, Peiran Li, Edward Suh, Yevgeniy Vorobeychik, Zhuoqing Mao, Somesh Jha, Patrick McDaniel, Huan Sun, Bo Li, Chaowei Xiao

cs.AI

Samenvatting

In dit artikel stellen we AutoDAN-Turbo voor, een black-box jailbreak methode die automatisch zoveel mogelijk jailbreak strategieën kan ontdekken vanaf nul, zonder enige menselijke tussenkomst of vooraf gedefinieerde scopes (bijv. gespecificeerde kandidaat strategieën), en deze kan gebruiken voor red-teaming. Als gevolg hiervan kan AutoDAN-Turbo aanzienlijk beter presteren dan basismethoden, met een gemiddeld aanvalsuccespercentage dat 74,3% hoger ligt op openbare benchmarks. Opmerkelijk genoeg behaalt AutoDAN-Turbo een aanvalsuccespercentage van 88,5 op GPT-4-1106-turbo. Bovendien is AutoDAN-Turbo een geünificeerd framework dat bestaande door mensen ontworpen jailbreak strategieën op een plug-and-play manier kan opnemen. Door door mensen ontworpen strategieën te integreren, kan AutoDAN-Turbo zelfs een hoger aanvalsuccespercentage van 93,4 behalen op GPT-4-1106-turbo.

English

In this paper, we propose AutoDAN-Turbo, a black-box jailbreak method that can automatically discover as many jailbreak strategies as possible from scratch, without any human intervention or predefined scopes (e.g., specified candidate strategies), and use them for red-teaming. As a result, AutoDAN-Turbo can significantly outperform baseline methods, achieving a 74.3% higher average attack success rate on public benchmarks. Notably, AutoDAN-Turbo achieves an 88.5 attack success rate on GPT-4-1106-turbo. In addition, AutoDAN-Turbo is a unified framework that can incorporate existing human-designed jailbreak strategies in a plug-and-play manner. By integrating human-designed strategies, AutoDAN-Turbo can even achieve a higher attack success rate of 93.4 on GPT-4-1106-turbo.