SafeGRPO: Alineación de Seguridad Multimodal Autopremiada mediante Optimización de Políticas Reglamentadas
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
November 17, 2025
Autores: Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye
cs.AI
Resumen
Los modelos de lenguaje multimodal (MLLM) han demostrado capacidades impresionantes de razonamiento y seguimiento de instrucciones, pero su espacio modal expandido introduce nuevos riesgos de seguridad composicional que surgen de complejas interacciones texto-imagen. Estos acoplamientos multimodales pueden producir semánticas no seguras incluso cuando las entradas individuales son benignas, exponiendo la frágil conciencia de seguridad de los MLLM actuales. Si bien trabajos recientes mejoran la seguridad guiando a los modelos a razonar sobre riesgos potenciales, las trazas de razonamiento no reguladas pueden comprometer la alineación; aunque la Optimización de Políticas Relativas de Grupo (GRPO) ofrece un refinamiento auto-recompensado sin supervisión humana, carece de señales verificables para la seguridad del razonamiento. Para abordar esto, proponemos SafeGRPO, un marco de alineación de seguridad multimodal auto-recompensado que integra la construcción de recompensas reglamentadas en GRPO, permitiendo una optimización interpretable y verificable de la seguridad del razonamiento. Basado en el conjunto de datos construido SafeTag-VL-3K con etiquetas explícitas de seguridad visual, textual y combinada, SafeGRPO realiza un pensamiento de seguridad guiado por pasos para imponer un razonamiento estructurado y una alineación conductual, mejorando sustancialmente la conciencia de seguridad multimodal, la robustez composicional y la estabilidad del razonamiento en diversos puntos de referencia sin sacrificar las capacidades generales.
English
Multimodal large language models (MLLMs) have demonstrated impressive reasoning and instruction-following capabilities, yet their expanded modality space introduces new compositional safety risks that emerge from complex text-image interactions. Such cross-modal couplings can produce unsafe semantics even when individual inputs are benign, exposing the fragile safety awareness of current MLLMs. While recent works enhance safety by guiding models to reason about potential risks, unregulated reasoning traces may compromise alignment; although Group Relative Policy Optimization (GRPO) offers self-rewarded refinement without human supervision, it lacks verifiable signals for reasoning safety. To address this, we propose SafeGRPO a self-rewarded multimodal safety alignment framework that integrates rule-governed reward construction into GRPO, enabling interpretable and verifiable optimization of reasoning safety. Built upon the constructed SafeTag-VL-3K dataset with explicit visual, textual, and combined safety tags, SafeGRPO performs step-guided safety thinking to enforce structured reasoning and behavior alignment, substantially improving multimodal safety awareness, compositional robustness, and reasoning stability across diverse benchmarks without sacrificing general capabilities.