Optimisation de Politique Renforcée par Dialogue Arborescent pour les Attaques de Red-Teaming

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

October 2, 2025

papers.authors: Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

cs.AI

papers.abstract

Malgré les progrès récents et rapides en matière de sécurité de l'IA, les grands modèles de langage actuels restent vulnérables aux attaques adverses dans des contextes d'interaction multi-tours, où les attaquants adaptent stratégiquement leurs prompts au fil des tours de conversation, posant ainsi un défi plus critique et réaliste. Les approches existantes pour découvrir les vulnérabilités de sécurité reposent soit sur un red-teaming manuel avec des experts humains, soit sur des méthodes automatisées utilisant des modèles prédéfinis et des données d'attaque sélectionnées par des humains, la plupart se concentrant sur des attaques en un seul tour. Cependant, ces méthodes n'ont pas exploré l'immense espace des attaques multi-tours possibles, ne tenant pas compte des trajectoires d'attaque novatrices qui émergent des dynamiques complexes des dialogues et de la planification stratégique des conversations. Cette lacune est particulièrement critique étant donné les récentes découvertes selon lesquelles les LLM présentent une vulnérabilité significativement plus élevée aux attaques multi-tours par rapport aux attaques en un seul tour. Nous proposons DialTree-RPO, un cadre d'apprentissage par renforcement on-policy intégré à une recherche arborescente qui découvre de manière autonome des stratégies d'attaque multi-tours diversifiées en traitant le dialogue comme un problème de prise de décision séquentielle, permettant une exploration systématique sans données manuellement sélectionnées. À travers des expériences approfondies, notre approche non seulement atteint un taux de réussite d'attaque (ASR) supérieur de plus de 25,9 % sur 10 modèles cibles par rapport aux approches précédentes de pointe, mais découvre également efficacement de nouvelles stratégies d'attaque en apprenant des politiques de dialogue optimales qui maximisent le succès des attaques sur plusieurs tours.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.