Doc-PP：大規模視覚言語モデルのための文書ポリシー保持ベンチマーク

Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

January 7, 2026

著者: Haeun Jang, Hwan Chang, Hwanhee Lee

cs.AI

要旨

大規模視覚言語モデル(LVLM)を実世界の文書質問応答に展開する際、文脈に基づく情報開示を規定する動的でユーザー定義のポリシーによって制約されることが多い。これらの明示的制約への遵守を確保することは極めて重要であるが、既存の安全性研究は主に暗黙的な社会規範またはテキストのみの設定に焦点を当てており、マルチモーダル文書の複雑性を見落としている。本論文では、厳格な非開示ポリシーの下で、異種の視覚的・テキスト的要素にわたる推論を必要とする実世界の報告書から構築された新しいベンチマーク、Doc-PP（文書ポリシー維持ベンチマーク）を紹介する。我々の評価は、体系的な「推論誘発性安全性ギャップ」を浮き彫りにしている：モデルは、複雑な合成による推論またはモダリティ間での集約を必要とする回答において、敏感な情報を頻繁に漏洩し、既存の安全性制約を事実上迂回する。さらに、抽出されたテキストを提供することは知覚を改善するが、結果として漏洩を促進することを明らかにした。これらの脆弱性に対処するため、推論とポリシー検証を分離する構造的推論フレームワークであるDVA（分解-検証-集約）を提案する。実験結果は、DVAが標準的なプロンプティング防御手法を大幅に上回り、ポリシー準拠型文書理解のための堅牢なベースラインを提供することを実証している。

English

The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding