SingGuard: Политико-адаптивный мультимодальный ограничитель для LLM с динамическим рассуждением

Аннотация

Модели «зрение–язык» (VLMs) всё чаще применяются в потребительских, медицинских, финансовых и корпоративных системах. Такое широкое внедрение расширяет поверхность безопасности: риски могут возникать при мультимодальном ответе на вопросы, в ассистивных ответах и межмодальной композиции, при этом политики модерации могут различаться в зависимости от продуктов, регионов и этапов развёртывания. Большинство существующих защитных механизмов либо опираются на фиксированные таксономии, либо нацелены лишь на узкий набор сценариев взаимодействия, что ограничивает их адаптируемость при изменении правил безопасности в процессе эксплуатации. Мы представляем SingGuard — семейство адаптируемых к политике мультимодальных моделей-ограничителей для оценки безопасности в мультимодальных диалогах. SingGuard рассматривает действующую политику как входной параметр времени выполнения: получив правила на естественном языке, он проверяет целевой контент на соответствие активной политике по каждому правилу и предсказывает как метку безопасности, так и нарушенное правило. Для баланса между эффективностью и интерпретируемостью SingGuard поддерживает быстрый, гибридный и медленный режимы вывода вдоль спектра рассуждений от быстрого к медленному — от прямых суждений о безопасности до обоснованных политикой рассуждений. Мы дополнительно оптимизируем это поведение с помощью быстро-медленного развязанного обучения с подкреплением. Также мы представляем SingGuard-Bench — бенчмарк мультимодальных ограничителей, содержащий 56 340 примеров, охватывающих более 80 тонких типов рисков в сценариях мультимодальных вопросов-ответов, атак и оценки динамических правил, включая межмодальные случаи совместного риска, где каждая модальность по отдельности безопасна, но их комбинация указывает на небезопасное намерение. На шести семействах бенчмарков (35 наборах данных) SingGuard достигает среднего F1, превосходящего современные показатели в каждом семействе. Оценка на динамических правилах дополнительно показывает улучшение точности следования политике с 0,6465 до 0,7415 при смене политики во время выполнения. Наш код доступен по адресу https://github.com/inclusionAI/Sing-Guard.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.