SingGuard: Ein richtlinienadaptiver multimodaler LLM-Guardrail mit dynamischem Reasoning

Zusammenfassung

Vision-Language-Modelle (VLMs) werden zunehmend in Verbraucher-, Medizin-, Finanz- und Unternehmensanwendungen eingesetzt. Diese weit verbreitete Nutzung erweitert die Sicherheitsoberfläche: Risiken können aus multimodalen Frage-Antwort-Szenarien, Assistenzantworten und modalübergreifenden Kompositionen entstehen, während Moderationsrichtlinien je nach Produkt, Region und Einsatzphase variieren können. Die meisten bestehenden Guardrails basieren entweder auf festen Taxonomien oder zielen nur auf einen engen Satz von Interaktionsumgebungen ab, was ihre Anpassungsfähigkeit einschränkt, wenn sich Sicherheitsregeln zur Laufzeit ändern. Wir stellen SingGuard vor, eine richtlinienadaptive multimodale Guardrail-Modellfamilie zur Sicherheitsbewertung in multimodalen Gesprächen. SingGuard behandelt die aktive Richtlinie als Laufzeiteingabe: Anhand natürlichsprachlicher Regeln prüft es den Zielinhalt Regel für Regel gegen die aktive Richtlinie und sagt sowohl das Sicherheitslabel als auch die ausgelöste Regel voraus. Um Effizienz und Interpretierbarkeit in Einklang zu bringen, unterstützt SingGuard schnelle, hybride und langsame Inferenzmodi entlang eines Spektrums von schneller bis langsamer Schlussfolgerung, das von direkten Sicherheitsurteilen bis hin zu richtlinienbasierter Überlegung reicht. Dieses Verhalten optimieren wir weiter mit einem entkoppelten Fast-Slow-Reinforcement-Learning. Wir führen außerdem SingGuard-Bench ein, einen multimodalen Guardrail-Benchmark mit 56.340 Beispielen, die mehr als 80 feinkörnige Risikotypen in multimodalen QA-, adversariellen Angriffs- und dynamischen Regelbewertungsumgebungen abdecken, einschließlich modalübergreifender Verbundrisikofälle, bei denen jede Modalität für sich genommen harmlos ist, ihre Kombination jedoch auf unsichere Absichten hindeutet. In sechs Benchmark-Familien (35 Datensätzen) erreicht SingGuard in jeder Familie den durchschnittlichen F1-Spitzenwert. Die dynamische Regelbewertung zeigt zudem eine verbesserte Richtlinienbefolgungsgenauigkeit von 0,6465 auf 0,7415 bei Laufzeit-Richtlinienänderungen. Unser Code ist verfügbar unter https://github.com/inclusionAI/Sing-Guard.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.