Doc-PP: 대규모 시각-언어 모델을 위한 문서 정책 보존 벤치마크

초록

대규모 시각-언어 모델(LVLM)을 실제 문서 질의응답에 적용할 때는 상황에 따라 정보 공개를 규정하는 사용자 정의 동적 정책으로 인해 제약을 받는 경우가 많습니다. 이러한 명시적 제약 조건의 준수를 보장하는 것이 중요함에도 불구하고, 기존 안전성 연구는 주로 암묵적인 사회적 규범이나 텍스트 전용 환경에 집중하여 다중 양식 문서의 복잡성을 간과해 왔습니다. 본 논문에서는 엄격한 비공개 정책 하에서 이질적인 시각 및 텍스트 요소를 넘나드는 추론이 필요한 실제 보고서로 구성된 새로운 벤치마크인 Doc-PP(문서 정책 준수 벤치마크)를 소개합니다. 우리의 평가는 체계적인 '추론 유발 안전성 격차'를 부각시킵니다: 모델들은 답변을 복잡한 통합을 통해 추론하거나 여러 양식에 걸쳐 집계해야 할 때 기존 안전성 제약을 효과적으로 우회하여 민감한 정보를 자주 유출했습니다. 더 나아가, 추출된 텍스트를 제공하면 인식 능력은 향상되지만 의도치 않게 정보 유출을 용이하게 한다는 점을 확인했습니다. 이러한 취약점을 해결하기 위해 우리는 추론과 정책 검증을 분리하는 구조적 추론 프레임워크인 DVA(분해-검증-집계)를 제안합니다. 실험 결과는 DVA가 표준 프롬프트 방어 기법을 크게 능가하며, 정책을 준수하는 문서 이해를 위한 강력한 기준선을 제공함을 입증합니다.

English

The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding

Doc-PP: 대규모 시각-언어 모델을 위한 문서 정책 보존 벤치마크

Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

초록

Support