Otimização de Política Reforçada Baseada em Árvore para Ataques de Red-Teaming

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

October 2, 2025

Autores: Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

cs.AI

Resumo

Apesar dos recentes avanços rápidos em segurança de IA, os atuais modelos de linguagem de grande escala permanecem vulneráveis a ataques adversariais em cenários de interação multi-turno, onde os atacantes adaptam estrategicamente seus prompts ao longo das rodadas de conversa, representando um desafio mais crítico e realista. As abordagens existentes que descobrem vulnerabilidades de segurança dependem de red-teaming manual com especialistas humanos ou empregam métodos automatizados usando modelos predefinidos e dados de ataque curados por humanos, com a maioria focando em ataques de turno único. No entanto, esses métodos não exploraram o vasto espaço de possíveis ataques multi-turno, deixando de considerar trajetórias de ataque inovadoras que emergem de dinâmicas complexas de diálogo e planejamento estratégico de conversas. Essa lacuna é particularmente crítica, considerando descobertas recentes de que os LLMs exibem vulnerabilidade significativamente maior a ataques multi-turno em comparação com ataques de turno único. Propomos o DialTree-RPO, uma estrutura de aprendizado por reforço on-policy integrada com busca em árvore que descobre autonomamente diversas estratégias de ataque multi-turno, tratando o diálogo como um problema de tomada de decisão sequencial, permitindo uma exploração sistemática sem dados manualmente curados. Por meio de extensos experimentos, nossa abordagem não apenas alcança uma taxa de sucesso de ataque (ASR) mais de 25,9% superior em 10 modelos-alvo em comparação com as abordagens state-of-the-art anteriores, mas também descobre efetivamente novas estratégias de ataque ao aprender políticas de diálogo ótimas que maximizam o sucesso do ataque ao longo de múltiplos turnos.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.