SafeGRPO : Alignement multimodal de sécurité auto-récompensé par optimisation de politique régie par règles
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
November 17, 2025
papers.authors: Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye
cs.AI
papers.abstract
Les modèles de langage multimodaux (MLLM) ont démontré des capacités impressionnantes de raisonnement et de suivi d'instructions, mais leur espace modal élargi introduit de nouveaux risques de sécurité compositionnelle émergeant d'interactions texte-image complexes. Ces couplages multimodaux peuvent produire une sémantique dangereuse même lorsque les entrées individuelles sont bénignes, révélant la fragile conscience sécuritaire des MLLM actuels. Si des travaux récents améliorent la sécurité en guidant les modèles à raisonner sur les risques potentiels, des traces de raisonnement non régulées peuvent compromettre l'alignement ; bien que l'optimisation de politique relative par groupe (GRPO) offre un raffinement auto-récompensé sans supervision humaine, elle manque de signaux vérifiables pour la sécurité du raisonnement. Pour y remédier, nous proposons SafeGRPO, un cadre d'alignement sécuritaire multimodal auto-récompensé qui intègre une construction de récompense régie par des règles dans GRPO, permettant une optimisation interprétable et vérifiable de la sécurité du raisonnement. Construit sur l'ensemble de données SafeTag-VL-3K comportant des étiquettes de sécurité visuelles, textuelles et combinées explicites, SafeGRPO effectue une réflexion sécuritaire guidée par étapes pour imposer un raisonnement structuré et un alignement comportemental, améliorant substantiellement la conscience sécuritaire multimodale, la robustesse compositionnelle et la stabilité du raisonnement sur divers benchmarks sans sacrifier les capacités générales.
English
Multimodal large language models (MLLMs) have demonstrated impressive reasoning and instruction-following capabilities, yet their expanded modality space introduces new compositional safety risks that emerge from complex text-image interactions. Such cross-modal couplings can produce unsafe semantics even when individual inputs are benign, exposing the fragile safety awareness of current MLLMs. While recent works enhance safety by guiding models to reason about potential risks, unregulated reasoning traces may compromise alignment; although Group Relative Policy Optimization (GRPO) offers self-rewarded refinement without human supervision, it lacks verifiable signals for reasoning safety. To address this, we propose SafeGRPO a self-rewarded multimodal safety alignment framework that integrates rule-governed reward construction into GRPO, enabling interpretable and verifiable optimization of reasoning safety. Built upon the constructed SafeTag-VL-3K dataset with explicit visual, textual, and combined safety tags, SafeGRPO performs step-guided safety thinking to enforce structured reasoning and behavior alignment, substantially improving multimodal safety awareness, compositional robustness, and reasoning stability across diverse benchmarks without sacrificing general capabilities.