SingGuard: Un Guardrail Multimodal Adaptable a Políticas para LLM con Razonamiento Dinámico

Resumen

Los modelos de lenguaje visual (VLMs) se están implementando cada vez más en aplicaciones de consumo, médicas, financieras y empresariales. Esta amplia implementación expande la superficie de seguridad: los riesgos pueden surgir de respuestas a preguntas multimodales, respuestas de asistentes y composición intermodal, mientras que las políticas de moderación pueden variar según productos, regiones y etapas de implementación. La mayoría de las salvaguardas existentes se basan en taxonomías fijas o se centran únicamente en un conjunto limitado de escenarios de interacción, lo que limita su adaptabilidad cuando las reglas de seguridad cambian en tiempo de implementación. Presentamos SingGuard, una familia de modelos de salvaguarda multimodal adaptable a políticas para la evaluación de seguridad en conversaciones multimodales. SingGuard trata la política activa como una entrada en tiempo de ejecución: dadas reglas en lenguaje natural, verifica el contenido objetivo contra la política activa regla por regla y predice tanto la etiqueta de seguridad como la regla activada. Para equilibrar eficiencia e interpretabilidad, SingGuard admite regímenes de inferencia rápida, híbrida y lenta a lo largo de un espectro de razonamiento de rápido a lento, que va desde juicios de seguridad directos hasta deliberaciones fundamentadas en políticas. Optimizamos aún más este comportamiento con aprendizaje por refuerzo desacoplado rápido-lento. También presentamos SingGuard-Bench, un punto de referencia de salvaguarda multimodal con 56,340 ejemplos que abarcan más de 80 tipos de riesgo detallados en evaluación de preguntas y respuestas multimodales, ataques adversariales y evaluación con reglas dinámicas, incluyendo casos de riesgo conjunto intermodal donde cada modalidad es inofensiva por separado pero su composición implica intenciones inseguras. En seis familias de puntos de referencia (35 conjuntos de datos), SingGuard alcanza el estado del arte en F1 promedio en cada familia. La evaluación con reglas dinámicas muestra además una precisión mejorada en el seguimiento de políticas, de 0,6465 a 0,7415 bajo cambios de política en tiempo de ejecución. Nuestro código está disponible en https://github.com/inclusionAI/Sing-Guard.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.