LLMの安全性推論に向けて：政策埋め込み型CoTデータ作成のためのAIエージェント的熟考

Towards Safety Reasoning in LLMs: AI-agentic Deliberation for Policy-embedded CoT Data Creation

May 27, 2025

著者: Tharindu Kumarage, Ninareh Mehrabi, Anil Ramakrishna, Xinyan Zhao, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris

cs.AI

要旨

安全性推論は、大規模言語モデル（LLM）が応答を生成する前に安全性ポリシーについて推論を行う新しいパラダイムであり、過剰拒否やジェイルブレイク脆弱性といった既存の安全性対策の限界を緩和します。しかし、このパラダイムを実装するのは困難です。なぜなら、高品質なポリシー埋め込み型連鎖思考（CoT）データセットを作成し、推論が正確で幻覚やポリシー衝突がないことを保証するには、多大なリソースを要するからです。この課題に対処するため、我々はAIDSAFE（Agentic Iterative Deliberation for Safety Reasoning）を提案します。これは、マルチエージェントの審議を活用して安全性ポリシーに関する推論を反復的に拡張する新しいデータ生成手法です。AIDSAFEのデータ精製段階では、繰り返しや冗長、欺瞞的な思考を排除することで高品質な出力を保証します。AIDSAFEで生成されたCoTは、教師あり微調整（SFT）ベースの安全性トレーニングの強固な基盤を提供します。さらに、DPOトレーニングなどのアライメント段階で必要とされる選好データに対応するため、信念拡張を使用して選択されたCoTサンプルと拒否されたCoTサンプルを作成する補助的な手法を導入します。我々の評価では、AIDSAFEで生成されたCoTが優れたポリシー遵守と推論品質を達成することが示されています。その結果、これらのCoTでオープンソースのLLMを微調整することで、安全性の一般化とジェイルブレイクに対する堅牢性を大幅に向上させつつ、許容可能な有用性と過剰拒否の精度を維持できることが示されました。AIDSAFEで生成されたCoTデータセットは以下で公開されています：https://huggingface.co/datasets/AmazonScience/AIDSAFE

English

Safety reasoning is a recent paradigm where LLMs reason over safety policies before generating responses, thereby mitigating limitations in existing safety measures such as over-refusal and jailbreak vulnerabilities. However, implementing this paradigm is challenging due to the resource-intensive process of creating high-quality policy-embedded chain-of-thought (CoT) datasets while ensuring reasoning remains accurate and free from hallucinations or policy conflicts. To tackle this, we propose AIDSAFE: Agentic Iterative Deliberation for Safety Reasoning, a novel data generation recipe that leverages multi-agent deliberation to iteratively expand reasoning on safety policies. A data refiner stage in AIDSAFE ensures high-quality outputs by eliminating repetitive, redundant, and deceptive thoughts. AIDSAFE-generated CoTs provide a strong foundation for supervised fine-tuning (SFT)-based safety training. Additionally, to address the need of preference data in alignment stages, such as DPO training, we introduce a supplemental recipe that uses belief augmentation to create distinct selected and rejected CoT samples. Our evaluations demonstrate that AIDSAFE-generated CoTs achieve superior policy adherence and reasoning quality. Consequently, we show that fine-tuning open-source LLMs on these CoTs can significantly improve safety generalization and jailbreak robustness while maintaining acceptable utility and over-refusal accuracy. AIDSAFE-generated CoT datasets can be found here: https://huggingface.co/datasets/AmazonScience/AIDSAFE