Boomgebaseerde Dialoogversterkte Beleidsoptimalisatie voor Red-Teaming Aanvallen

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

October 2, 2025

Auteurs: Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

cs.AI

Samenvatting

Ondanks de recente snelle vooruitgang in AI-veiligheid, blijven huidige grote taalmodellen kwetsbaar voor adversariële aanvallen in multi-turn interactieomgevingen, waar aanvallers hun prompts strategisch aanpassen over verschillende gespreksronden en een kritischer en realistischer uitdaging vormen. Bestaande benaderingen die veiligheidskwetsbaarheden ontdekken, zijn ofwel afhankelijk van handmatige red-teaming met menselijke experts, of gebruiken geautomatiseerde methoden met vooraf gedefinieerde sjablonen en door mensen samengestelde aanvalsgegevens, waarbij de meeste zich richten op single-turn aanvallen. Deze methoden hebben echter de uitgebreide ruimte van mogelijke multi-turn aanvallen niet verkend, en hebben geen rekening gehouden met nieuwe aanvalstrajecten die ontstaan uit complexe dialoogdynamiek en strategische gespreksplanning. Deze kloof is bijzonder kritisch gezien recente bevindingen dat LLM's aanzienlijk kwetsbaarder zijn voor multi-turn aanvallen in vergelijking met single-turn aanvallen. Wij stellen DialTree-RPO voor, een on-policy reinforcement learning framework geïntegreerd met boomzoeken, dat autonoom diverse multi-turn aanvalsstrategieën ontdekt door de dialoog te behandelen als een sequentieel beslissingsprobleem, waardoor systematische exploratie mogelijk is zonder handmatig samengestelde gegevens. Door uitgebreide experimenten bereikt onze benadering niet alleen meer dan 25,9% hogere ASR over 10 doelmodellen in vergelijking met eerdere state-of-the-art benaderingen, maar ontdekt het ook effectief nieuwe aanvalsstrategieën door optimale dialoogbeleidsregels te leren die het aanvalssucces over meerdere ronden maximaliseren.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.