SafeGRPO: Zelf-beloonde multimodale veiligheidsafstemming via regelgestuurd beleidsoptimalisatie
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
November 17, 2025
Auteurs: Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye
cs.AI
Samenvatting
Multimodale grote taalmodellen (MLLM's) hebben indrukwekkende redeneer- en instructievolgcapaciteiten getoond, maar hun uitgebreide modaliteitsruimte introduceert nieuwe compositionele veiligheidsrisico's die voortkomen uit complexe tekst-beeldinteracties. Dergelijke kruismodale koppelingen kunnen onveilige semantiek produceren, zelfs wanneer individuele invoer onschadelijk is, wat het fragiele veiligheidsbewustzijn van huidige MLLM's blootlegt. Hoewel recente werken de veiligheid verbeteren door modellen te begeleiden bij het redeneren over potentiële risico's, kunnen ongereguleerde redeneersporen de afstemming in gevaar brengen; hoewel Group Relative Policy Optimization (GRPO) zelf-beloonde verfijning biedt zonder menselijk toezicht, ontbreekt het aan verifieerbare signalen voor redeneerveiligheid. Om dit aan te pakken, stellen wij SafeGRPO voor: een zelf-beloonde multimodale veiligheidsafstemmingsraamwerk dat door regels gestuurde beloningsconstructie integreert in GRPO, waardoor interpreteerbare en verifieerbare optimalisatie van redeneerveiligheid mogelijk wordt. Gebouwd op de geconstrueerde SafeTag-VL-3K-dataset met expliciete visuele, tekstuele en gecombineerde veiligheidslabels, voert SafeGRPO stapsgewijs geleid veiligheidsdenken uit om gestructureerd redeneren en gedragsafstemming af te dwingen. Dit verbetert de multimodale veiligheidsbewustwording, compositionele robuustheid en redeneerstabiliteit aanzienlijk across diverse benchmarks zonder algemene capaciteiten op te offeren.
English
Multimodal large language models (MLLMs) have demonstrated impressive reasoning and instruction-following capabilities, yet their expanded modality space introduces new compositional safety risks that emerge from complex text-image interactions. Such cross-modal couplings can produce unsafe semantics even when individual inputs are benign, exposing the fragile safety awareness of current MLLMs. While recent works enhance safety by guiding models to reason about potential risks, unregulated reasoning traces may compromise alignment; although Group Relative Policy Optimization (GRPO) offers self-rewarded refinement without human supervision, it lacks verifiable signals for reasoning safety. To address this, we propose SafeGRPO a self-rewarded multimodal safety alignment framework that integrates rule-governed reward construction into GRPO, enabling interpretable and verifiable optimization of reasoning safety. Built upon the constructed SafeTag-VL-3K dataset with explicit visual, textual, and combined safety tags, SafeGRPO performs step-guided safety thinking to enforce structured reasoning and behavior alignment, substantially improving multimodal safety awareness, compositional robustness, and reasoning stability across diverse benchmarks without sacrificing general capabilities.