SingGuard : Un garde-fou multimodal adaptatif aux politiques pour LLM avec raisonnement dynamique

Résumé

Les modèles de langage visuel (VLMs) sont de plus en plus déployés dans des applications grand public, médicales, financières et d'entreprise. Ce large déploiement élargit la surface de sécurité : des risques peuvent émerger du question-réponse multimodal, des réponses d'assistants et de la composition cross-modale, tandis que les politiques de modération peuvent varier selon les produits, les régions et les étapes de déploiement. La plupart des garde-fous existants reposent soit sur des taxonomies fixes, soit ciblent uniquement un ensemble restreint de contextes d'interaction, ce qui limite leur adaptabilité lorsque les règles de sécurité changent au moment du déploiement. Nous présentons SingGuard, une famille de modèles de garde-fou multimodaux adaptatifs aux politiques pour l'évaluation de la sécurité dans les conversations multimodales. SingGuard traite la politique active comme une entrée en cours d'exécution : étant donné des règles en langage naturel, il vérifie le contenu cible par rapport à la politique active règle par règle et prédit à la fois l'étiquette de sécurité et la règle déclenchée. Pour équilibrer efficacité et interprétabilité, SingGuard prend en charge des régimes d'inférence rapide, hybride et lent le long d'un spectre de raisonnement allant du rapide au lent, allant des jugements directs de sécurité à une délibération ancrée dans la politique. Nous optimisons davantage ce comportement avec un apprentissage par renforcement découplé rapide-lent. Nous introduisons également SingGuard-Bench, un benchmark de garde-fou multimodal comprenant 56 340 exemples couvrant plus de 80 types de risques fins dans les contextes d'évaluation du QA multimodal, des attaques adversariales et des règles dynamiques, y compris des cas de risques cross-modaux conjoints où chaque modalité est inoffensive isolément mais leur composition implique une intention dangereuse. Sur six familles de benchmarks (35 jeux de données), SingGuard atteint un F1 moyen de pointe dans chaque famille. L'évaluation des règles dynamiques montre en outre une précision améliorée de suivi des politiques, passant de 0,6465 à 0,7415 en cas de changements de politique en cours d'exécution. Notre code est disponible à l'adresse https://github.com/inclusionAI/Sing-Guard.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.