PolicyShiftGuard: 정책 적응형 이미지 가드레일의 벤치마킹 및 개선

초록

이미지 가드레일은 일반적으로 고정된 안전 정책 하에서 훈련 및 평가되며, 안전성을 이미지의 내재적 속성으로 암묵적으로 간주한다. 실제 배포 환경은 다르다. 동일한 이미지가 한 제품에서는 허용되지만 다른 제품에서는 제한될 수 있으며, 정책 경계가 변경되면 새롭게 금지될 수 있다. 본 연구에서는 모델이 현재 제공된 정책을 위반하는 이미지인지 판단하고, 보유하지 않은 정책 정의로 일반화해야 하는 정책 적응형 이미지 가드레일링을 연구한다. 우리는 PolicyShiftBench를 도입한다. 이는 265개의 이미지에 걸쳐 2,000개의 정책 판별 인스턴스를 포함하는 포괄적인 벤치마크로, 각 이미지는 평균 7.55개의 정책 조건부 프롬프트와 쌍을 이루어 모델이 이미지 수준의 안전성 사전 지식에 의존하지 않고 활성 정책에 적응하는지 테스트한다. 다음으로 PolicyShiftGuard를 제안한다. 이는 무작위 정책 SFT(RP-SFT)와 경계 쌍 정책 적응(BP-Adapt)을 결합한 2단계 훈련 방식을 통해 학습된 소형 정책 조건부 가드레일이다. BP-Adapt는 동일한 이미지와 위험 범주에 대해 일치된 프롬프트를 표준 레이블 지도 학습과 차단 정책과 통과 정책을 구분하는 쌍별 비교 손실(pairwise comparison loss)을 사용하여 훈련한다. 실험 결과, 기존 VLM과 특수 가드레일은 정책 변화에 취약한 반면, PolicyShiftGuard는 정책 민감 성능을 크게 향상시킨다. 7B 모델은 PolicyShiftBench에서 평균 F1 76.9, 평균 PSS 72.1로 최고 성능을 달성하고, UnSafeBench 및 SafeEditBench로 잘 전이되며, 간결한 출력 형식으로 지연 시간-성능 트레이드오프를 개선한다. 절제 실험은 일치된 통과/차단 경계 쌍이 안정적인 정책 적응에 필수적임을 확인한다.

English

Image guardrails are typically trained and evaluated under a fixed safety policy, implicitly treating safety as an intrinsic property of an image. Real deployments are different: the same image may be allowed in one product, restricted in another, and newly disallowed when a policy boundary changes. We study policy-adaptive image guardrailing, where a model must decide whether an image violates the currently supplied policy and generalize to held-out policy definitions. We introduce PolicyShiftBench, a comprehensive benchmark with 2,000 policy-discriminative instances over 265 images, where each image is paired with 7.55 policy-conditioned prompts on average to test whether models adapt to the active policy rather than relying on image-level safety priors. We then propose PolicyShiftGuard, a compact policy-conditioned guardrail trained with a two-stage training recipe that combines Randomized Policy SFT (RP-SFT) with Boundary-Pair Policy Adaptation (BP-Adapt). BP-Adapt trains matched prompts for the same image and risk category using standard label supervision and a pairwise comparison loss that separates blocking policies from passing policies. Experiments show that existing VLMs and specialized guardrails remain brittle under policy shifts, while PolicyShiftGuard substantially improves policy-sensitive performance. The 7B model achieves SOTA performance of 76.9 Avg. F1 and 72.1 Avg. PSS on PolicyShiftBench, transfers well to UnSafeBench and SafeEditBench, and improves the latency-performance trade-off with a concise output format. Ablations confirm that matched pass/block boundary pairs are essential for stable policy adaptation.