SafeGRPO: Alinhamento de Segurança Multimodal Autorrecompensado via Otimização de Políticas Regulamentadas
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
November 17, 2025
Autores: Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye
cs.AI
Resumo
Os modelos de linguagem grandes multimodais (MLLMs) demonstraram capacidades impressionantes de raciocínio e seguimento de instruções, porém seu espaço modal expandido introduz novos riscos composicionais de segurança que emergem de interações complexas texto-imagem. Tais acoplamentos cross-modais podem produzir semânticas inseguras mesmo quando as entradas individuais são benignas, expondo a frágil consciência de segurança dos MLLMs atuais. Embora trabalhos recentes aprimorem a segurança orientando os modelos a raciocinar sobre riscos potenciais, traços de raciocínio não regulamentados podem comprometer o alinhamento; embora a Otimização de Política Relativa de Grupo (GRPO) ofereça refinamento autorrecompensado sem supervisão humana, ela carece de sinais verificáveis para segurança do raciocínio. Para resolver isso, propomos o SafeGRPO, uma estrutura de alinhamento de segurança multimodal autorrecompensada que integra a construção de recompensas regradas na GRPO, permitindo a otimização interpretável e verificável da segurança do raciocínio. Desenvolvido com base no conjunto de dados SafeTag-VL-3K construído, com tags explícitas de segurança visual, textual e combinada, o SafeGRPO executa pensamento de segurança guiado por etapas para impor raciocínio estruturado e alinhamento comportamental, melhorando substancialmente a consciência de segurança multimodal, a robustez composicional e a estabilidade do raciocínio em diversos benchmarks sem sacrificar capacidades gerais.
English
Multimodal large language models (MLLMs) have demonstrated impressive reasoning and instruction-following capabilities, yet their expanded modality space introduces new compositional safety risks that emerge from complex text-image interactions. Such cross-modal couplings can produce unsafe semantics even when individual inputs are benign, exposing the fragile safety awareness of current MLLMs. While recent works enhance safety by guiding models to reason about potential risks, unregulated reasoning traces may compromise alignment; although Group Relative Policy Optimization (GRPO) offers self-rewarded refinement without human supervision, it lacks verifiable signals for reasoning safety. To address this, we propose SafeGRPO a self-rewarded multimodal safety alignment framework that integrates rule-governed reward construction into GRPO, enabling interpretable and verifiable optimization of reasoning safety. Built upon the constructed SafeTag-VL-3K dataset with explicit visual, textual, and combined safety tags, SafeGRPO performs step-guided safety thinking to enforce structured reasoning and behavior alignment, substantially improving multimodal safety awareness, compositional robustness, and reasoning stability across diverse benchmarks without sacrificing general capabilities.