Оптимизация политики на основе диалогов с использованием деревьев для атак методом "красной команды"

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

October 2, 2025

Авторы: Ruohao Guo, Afshin Oroojlooy, Roshan Sridhar, Miguel Ballesteros, Alan Ritter, Dan Roth

cs.AI

Аннотация

Несмотря на недавний быстрый прогресс в области безопасности ИИ, современные крупные языковые модели остаются уязвимыми для атак в условиях многоходового взаимодействия, где злоумышленники стратегически адаптируют свои запросы на протяжении нескольких раундов диалога, что представляет собой более серьезную и реалистичную угрозу. Существующие подходы к выявлению уязвимостей безопасности либо полагаются на ручное тестирование с участием экспертов (red-teaming), либо используют автоматизированные методы с заранее заданными шаблонами и данными атак, подготовленными людьми, причем большинство из них сосредоточено на одноходовых атаках. Однако эти методы не исследуют обширное пространство возможных многоходовых атак, не учитывая новые траектории атак, возникающие из-за сложной динамики диалога и стратегического планирования беседы. Этот пробел особенно критичен в свете недавних исследований, показывающих, что языковые модели значительно более уязвимы к многоходовым атакам по сравнению с одноходовыми. Мы предлагаем DialTree-RPO — фреймворк обучения с подкреплением on-policy, интегрированный с поиском по дереву, который автономно обнаруживает разнообразные стратегии многоходовых атак, рассматривая диалог как задачу последовательного принятия решений, что позволяет систематически исследовать пространство атак без использования данных, подготовленных вручную. В ходе обширных экспериментов наш подход не только демонстрирует увеличение ASR более чем на 25,9% для 10 целевых моделей по сравнению с предыдущими передовыми методами, но и эффективно выявляет новые стратегии атак, обучая оптимальные политики диалога, которые максимизируют успех атаки на протяжении нескольких раундов.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.