Baumgestützte Dialogverstärkte Politikoptimierung für Red-Teaming-Angriffe

papers.abstract

Trotz der jüngsten rasanten Fortschritte in der KI-Sicherheit bleiben aktuelle große Sprachmodelle anfällig für adversariale Angriffe in Mehrfachinteraktionsszenarien, bei denen Angreifer ihre Eingaben strategisch über mehrere Gesprächsrunden hinweg anpassen und somit eine kritischere und realistischere Herausforderung darstellen. Bestehende Ansätze zur Identifizierung von Sicherheitslücken stützen sich entweder auf manuelles Red-Teaming mit menschlichen Experten oder verwenden automatisierte Methoden mit vordefinierten Vorlagen und von Menschen kuratierten Angriffsdaten, wobei sich die meisten auf Einzelrundenangriffe konzentrieren. Diese Methoden haben jedoch den umfangreichen Raum möglicher Mehrfachrundenangriffe nicht erkundet und dabei neuartige Angriffspfade, die sich aus komplexen Dialogdynamiken und strategischer Gesprächsplanung ergeben, nicht berücksichtigt. Diese Lücke ist besonders kritisch, da jüngste Erkenntnisse zeigen, dass Sprachmodelle signifikant anfälliger für Mehrfachrundenangriffe sind als für Einzelrundenangriffe. Wir schlagen DialTree-RPO vor, ein On-Policy-Reinforcement-Learning-Framework, das mit einer Baumsuche integriert ist und autonom vielfältige Mehrfachrundenangriffsstrategien entdeckt, indem es den Dialog als sequenzielles Entscheidungsproblem behandelt und eine systematische Erkundung ohne manuell kuratierte Daten ermöglicht. Durch umfangreiche Experimente erreicht unser Ansatz nicht nur eine um mehr als 25,9 % höhere Angriffserfolgsrate (ASR) über 10 Zielmodelle hinweg im Vergleich zu bisherigen State-of-the-Art-Ansätzen, sondern deckt auch effektiv neue Angriffsstrategien auf, indem er optimale Dialogstrategien erlernt, die den Angriffserfolg über mehrere Runden hinweg maximieren.

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.

Baumgestützte Dialogverstärkte Politikoptimierung für Red-Teaming-Angriffe

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

papers.abstract

Support