SingGuard: een beleidsadaptieve multimodale LLM-guardrail met dynamische redenering

Samenvatting

Visie-taalmodellen (VLMs) worden steeds vaker ingezet in consumenten-, medische, financiële en zakelijke toepassingen. Deze brede inzet vergroot het veiligheidsoppervlak: risico's kunnen ontstaan door multimodale vraagbeantwoording, assistentreacties en cross-modale compositie, terwijl moderatiebeleid kan variëren per product, regio en implementatiefase. De meeste bestaande guardrails vertrouwen op vaste taxonomieën of richten zich slechts op een beperkte set interactie-instellingen, wat hun aanpasbaarheid beperkt wanneer veiligheidsregels tijdens de implementatie veranderen. Wij presenteren SingGuard, een beleidsadaptieve multimodale guardrail-modelfamilie voor veiligheidsbeoordeling in multimodale gesprekken. SingGuard behandelt het actieve beleid als een runtime-invoer: gegeven natuurlijke-taalregels controleert het de doelinhoud regel voor regel tegen het actieve beleid en voorspelt het zowel het veiligheidslabel als de geactiveerde regel. Om efficiëntie en interpreteerbaarheid in balans te brengen, ondersteunt SingGuard snelle, hybride en langzame inferentiemodi langs een spectrum van snel naar langzaam redeneren, variërend van directe veiligheidsoordelen tot beleidsgedragen beraadslaging. We optimaliseren dit gedrag verder met snel-langzaam ontkoppeld bekrachtigingsleren. We introduceren ook SingGuard-Bench, een multimodale guardrail-benchmark met 56.340 voorbeelden die 80+ fijnmazige risicotypen omvatten in multimodale QA, adversarial attack en dynamische-regel evaluatie-instellingen, inclusief cross-modale gezamenlijke risicogevallen waarbij elke modaliteit op zichzelf onschadelijk is maar hun compositie een onveilige bedoeling impliceert. Over zes benchmarkfamilies (35 datasets) behaalt SingGuard in elke familie een state-of-the-art gemiddelde F1-score. Dynamische-regel evaluatie toont verder een verbeterde beleidsvolgnauwkeurigheid van 0,6465 naar 0,7415 bij beleidsverschuivingen tijdens runtime. Onze code is beschikbaar op https://github.com/inclusionAI/Sing-Guard.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.