SingGuard: 動的推論を備えたポリシー適応型マルチモーダルLLMガードレール

要旨

ビジョン・ランゲージモデル（VLM）は、消費者向け、医療、金融、エンタープライズアプリケーションへの導入が進んでいる。この幅広い展開は安全性の表面を拡大する。リスクはマルチモーダルな質問応答、アシスタント応答、クロスモーダル合成から生じる可能性があり、一方でモデレーションポリシーは製品、地域、展開段階によって異なる場合がある。既存のガードレールのほとんどは、固定された分類法に依存するか、限られた相互作用設定のみを対象としており、展開時に安全性ルールが変更された場合の適応性が制限される。本稿では、マルチモーダル会話における安全性評価のためのポリシー適応型マルチモーダルガードレールモデルファミリーであるSingGuardを提案する。SingGuardはアクティブポリシーを実行時入力として扱う。すなわち、自然言語ルールが与えられると、アクティブポリシーに照らして対象コンテンツをルールごとにチェックし、安全性ラベルとトリガーされたルールの両方を予測する。効率性と解釈可能性のバランスを取るため、SingGuardは高速、ハイブリッド、低速の推論レジームを、直接的な安全性判断からポリシーに基づく熟考に至る高速‐低速推論スペクトルに沿ってサポートする。さらに、高速低速分離型強化学習を用いてこの振る舞いを最適化する。また、マルチモーダルガードレールベンチマークであるSingGuard-Benchを導入する。これは56,340のサンプルを含み、マルチモーダルQA、敵対的攻撃、動的ルール評価設定（各モダリティ単独では無害だが、その構成が安全でない意図を示唆するクロスモーダル共同リスク事例を含む）において、80以上の細粒度リスクタイプをカバーする。6つのベンチマークファミリー（35データセット）において、SingGuardは各ファミリーで最先端の平均F1を達成する。動的ルール評価では、実行時ポリシー変更下でのポリシー追従精度が0.6465から0.7415に向上することがさらに示される。コードはhttps://github.com/inclusionAI/Sing-Guardで入手可能である。

English

Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present SingGuard, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce SingGuard-Bench, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.