SafeGRPO：ルールに基づくポリシー最適化による自己報酬型マルチモーダル安全性整合
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
November 17, 2025
著者: Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye
cs.AI
要旨
マルチモーダル大規模言語モデル（MLLM）は、印象的な推論能力と指示追従能力を示しているが、拡張されたモダリティ空間は、複雑なテキスト-画像相互作用から生じる新たな合成的安全性リスクを導入する。このようなクロスモーダル結合は、個々の入力が無害であっても安全でない意味を生成する可能性があり、現在のMLLMの脆弱な安全性認識を露呈する。最近の研究は潜在リスクについて推論するようモデルを導くことで安全性を強化しているが、規制されていない推論痕跡はアライメントを損なう可能性がある。Group Relative Policy Optimization（GRPO）は人間の監督なしで自己報酬型の改良を提供するが、推論の安全性に関する検証可能な信号を欠いている。この問題に対処するため、我々はルールに基づく報酬構築をGRPOに統合し、推論安全性の解釈可能かつ検証可能な最適化を可能にする自己報酬型マルチモーダル安全性アライメントフレームワークであるSafeGRPOを提案する。明示的な視覚的、テキスト的、および複合的な安全性タグを付与した構築済みデータセットSafeTag-VL-3Kに基づき、SafeGRPOは段階的に導かれる安全性思考を実行して構造化推論と行動アライメントを強化し、一般的な能力を犠牲にすることなく、多様なベンチマークにおいてマルチモーダル安全性認識、合成的ロバスト性、および推論安定性を大幅に改善する。
English
Multimodal large language models (MLLMs) have demonstrated impressive reasoning and instruction-following capabilities, yet their expanded modality space introduces new compositional safety risks that emerge from complex text-image interactions. Such cross-modal couplings can produce unsafe semantics even when individual inputs are benign, exposing the fragile safety awareness of current MLLMs. While recent works enhance safety by guiding models to reason about potential risks, unregulated reasoning traces may compromise alignment; although Group Relative Policy Optimization (GRPO) offers self-rewarded refinement without human supervision, it lacks verifiable signals for reasoning safety. To address this, we propose SafeGRPO a self-rewarded multimodal safety alignment framework that integrates rule-governed reward construction into GRPO, enabling interpretable and verifiable optimization of reasoning safety. Built upon the constructed SafeTag-VL-3K dataset with explicit visual, textual, and combined safety tags, SafeGRPO performs step-guided safety thinking to enforce structured reasoning and behavior alignment, substantially improving multimodal safety awareness, compositional robustness, and reasoning stability across diverse benchmarks without sacrificing general capabilities.