Doc-PP : Benchmark de Préservation des Politiques Documentaires pour les Grands Modèles Vision-Langage
Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
January 7, 2026
papers.authors: Haeun Jang, Hwan Chang, Hwanhee Lee
cs.AI
papers.abstract
Le déploiement des Grands Modèles Vision-Langage (LVLM) pour la réponse à des questions sur des documents du monde réel est souvent limité par des politiques dynamiques, définies par l'utilisateur, qui dictent la divulgation d'informations en fonction du contexte. Bien qu'il soit crucial de garantir le respect de ces contraintes explicites, la recherche existante sur la sécurité se concentre principalement sur les normes sociales implicites ou les environnements textuels uniquement, négligeant les complexités des documents multimodaux. Dans cet article, nous présentons Doc-PP (Document Policy Preservation Benchmark), un nouveau benchmark construit à partir de rapports réels exigeant un raisonnement sur des éléments visuels et textuels hétérogènes sous de strictes politiques de non-divulgation. Notre évaluation met en lumière un Écart de Sécurité Induit par le Raisonnement systémique : les modèles divulguent fréquemment des informations sensibles lorsque les réponses doivent être inférées par une synthèse complexe ou agrégées entre les modalités, contournant ainsi efficacement les contraintes de sécurité existantes. De plus, nous identifions que fournir le texte extrait améliore la perception mais facilite involontairement les fuites. Pour remédier à ces vulnérabilités, nous proposons DVA (Décomposer-Vérifier-Agréger), un cadre d'inférence structurel qui découple le raisonnement de la vérification des politiques. Les résultats expérimentaux démontrent que DVA surpasse significativement les défenses par prompting standard, offrant une base de référence robuste pour la compréhension de documents conforme aux politiques.
English
The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding