Ottimizzazione delle Politiche Rinforzata da Dialoghi ad Albero per Attacchi di Red-Teaming

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

October 2, 2025

Autori: Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

cs.AI

Abstract

Nonostante i recenti e rapidi progressi nella sicurezza dell'IA, gli attuali modelli linguistici di grandi dimensioni rimangono vulnerabili ad attacchi avversari in contesti di interazione multi-turn, dove gli aggressori adattano strategicamente i loro prompt attraverso i turni di conversazione, rappresentando una sfida più critica e realistica. Gli approcci esistenti che individuano vulnerabilità di sicurezza si basano su red-teaming manuale con esperti umani o impiegano metodi automatizzati utilizzando modelli predefiniti e dati di attacco curati da esseri umani, concentrandosi principalmente su attacchi single-turn. Tuttavia, questi metodi non hanno esplorato il vasto spazio dei possibili attacchi multi-turn, trascurando di considerare traiettorie di attacco innovative che emergono da dinamiche di dialogo complesse e pianificazione strategica della conversazione. Questa lacuna è particolarmente critica alla luce dei recenti risultati che dimostrano come i LLM siano significativamente più vulnerabili agli attacchi multi-turn rispetto a quelli single-turn. Proponiamo DialTree-RPO, un framework di apprendimento per rinforzo on-policy integrato con la ricerca ad albero che scopre autonomamente strategie di attacco multi-turn diversificate, trattando il dialogo come un problema decisionale sequenziale, consentendo un'esplorazione sistematica senza dati curati manualmente. Attraverso esperimenti estensivi, il nostro approccio non solo ottiene un ASR superiore del 25,9% su 10 modelli target rispetto agli approcci state-of-the-art precedenti, ma scopre anche efficacemente nuove strategie di attacco apprendendo politiche di dialogo ottimali che massimizzano il successo dell'attacco su più turni.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.