SingGuard: 동적 추론 기반 정책 적응형 멀티모달 LLM 가드레일

초록

비전-언어 모델(VLM)은 소비자, 의료, 금융 및 기업 애플리케이션에 점점 더 많이 배포되고 있다. 이러한 광범위한 배포는 안전 범위를 확장한다. 멀티모달 질의응답, 어시스턴트 응답, 교차 모달 구성에서 위험이 발생할 수 있으며, 조정 정책은 제품, 지역, 배포 단계에 따라 달라질 수 있다. 대부분의 기존 가드레일은 고정된 분류 체계에 의존하거나 극히 제한된 상호작용 설정만을 대상으로 하여, 배포 시점에 안전 규칙이 변경될 때 적응성이 제한된다. 본 연구에서는 SingGuard, 즉 정책 적응형 멀티모달 가드레일 모델 제품군을 제안한다. SingGuard는 활성 정책을 런타임 입력으로 처리한다. 자연어 규칙이 주어지면 대상 콘텐츠를 활성 정책 규칙별로 검사하여 안전 레이블과 트리거된 규칙을 모두 예측한다. 효율성과 해석 가능성의 균형을 맞추기 위해 SingGuard는 직접적인 안전 판단에서 정책 기반 심의에 이르는 빠른 추론에서 느린 추론으로의 스펙트럼을 따라 빠른, 하이브리드, 느린 추론 방식을 지원한다. 이러한 동작은 빠름-느림 분리 강화 학습을 통해 추가로 최적화한다. 또한, 56,340개의 예제로 80개 이상의 세분화된 위험 유형을 포함하는 멀티모달 가드레일 벤치마크인 SingGuard-Bench를 소개한다. 이 벤치마크는 멀티모달 QA, 적대적 공격, 동적 규칙 평가 설정을 아우르며, 각 모달리티는 단독으로는 무해하지만 이들의 조합이 안전하지 않은 의도를 암시하는 교차 모달 결합 위험 사례도 포함한다. 6개 벤치마크 제품군(35개 데이터셋)에 걸쳐 SingGuard는 모든 제품군에서 최첨단 평균 F1을 달성했다. 동적 규칙 평가는 런타임 정책 변경 하에서 정책 준수 정확도를 0.6465에서 0.7415로 개선함을 추가로 보여준다. 코드는 https://github.com/inclusionAI/Sing-Guard에서 확인할 수 있다.

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.