ツリーベース対話強化ポリシー最適化によるレッドチーミング攻撃

要旨

AI安全性における最近の急速な進展にもかかわらず、現在の大規模言語モデルは、多ターン対話設定における敵対的攻撃に対して脆弱なままです。ここでは、攻撃者が会話のターンにわたって戦略的にプロンプトを適応させ、より深刻で現実的な課題を提起します。既存の安全性の脆弱性を発見するアプローチは、人間の専門家による手動のレッドチーミングに依存するか、事前に定義されたテンプレートと人間がキュレーションした攻撃データを使用した自動化手法を採用しており、そのほとんどが単一ターン攻撃に焦点を当てています。しかし、これらの手法は、複雑な対話ダイナミクスや戦略的な会話計画から生まれる新しい攻撃軌跡を考慮せず、可能な多ターン攻撃の広大な空間を探索していませんでした。このギャップは、最近の研究でLLMが単一ターン攻撃と比較して多ターン攻撃に対して著しく高い脆弱性を示すことが明らかになったことを考えると、特に重要です。私たちは、DialTree-RPOを提案します。これは、対話を逐次意思決定問題として扱い、手動でキュレーションされたデータなしで体系的な探索を可能にする、ツリーサーチと統合されたオンポリシー強化学習フレームワークです。広範な実験を通じて、私たちのアプローチは、以前の最先端のアプローチと比較して10のターゲットモデル全体で25.9%以上のASRを達成するだけでなく、複数のターンにわたって攻撃の成功を最大化する最適な対話ポリシーを学習することで、新しい攻撃戦略を効果的に発見します。

English

Despite recent rapid progress in AI safety, current large language models remain vulnerable to adversarial attacks in multi-turn interaction settings, where attackers strategically adapt their prompts across conversation turns and pose a more critical yet realistic challenge. Existing approaches that discover safety vulnerabilities either rely on manual red-teaming with human experts or employ automated methods using pre-defined templates and human-curated attack data, with most focusing on single-turn attacks. However, these methods did not explore the vast space of possible multi-turn attacks, failing to consider novel attack trajectories that emerge from complex dialogue dynamics and strategic conversation planning. This gap is particularly critical given recent findings that LLMs exhibit significantly higher vulnerability to multi-turn attacks compared to single-turn attacks. We propose DialTree-RPO, an on-policy reinforcement learning framework integrated with tree search that autonomously discovers diverse multi-turn attack strategies by treating the dialogue as a sequential decision-making problem, enabling systematic exploration without manually curated data. Through extensive experiments, our approach not only achieves more than 25.9% higher ASR across 10 target models compared to previous state-of-the-art approaches, but also effectively uncovers new attack strategies by learning optimal dialogue policies that maximize attack success across multiple turns.

ツリーベース対話強化ポリシー最適化によるレッドチーミング攻撃

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks

要旨

Support