Doc-PP: Benchmark de Preservación de Políticas Documentales para Modelos Grandes de Visión y Lenguaje
Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
January 7, 2026
Autores: Haeun Jang, Hwan Chang, Hwanhee Lee
cs.AI
Resumen
El despliegue de Grandes Modelos de Visión y Lenguaje (LVLM) para la respuesta a preguntas sobre documentos del mundo real suele verse limitado por políticas dinámicas definidas por el usuario que dictan la divulgación de información según el contexto. Si bien garantizar el cumplimiento de estas restricciones explícitas es crucial, la investigación existente en seguridad se centra principalmente en normas sociales implícitas o entornos exclusivamente textuales, pasando por alto las complejidades de los documentos multimodales. En este artículo, presentamos Doc-PP (Document Policy Preservation Benchmark), un nuevo benchmark construido a partir de informes del mundo real que requieren razonamiento a través de elementos visuales y textuales heterogéneos bajo estrictas políticas de no divulgación. Nuestra evaluación destaca una Brecha de Seguridad Inducida por el Razonamiento sistémica: los modelos filtran con frecuencia información sensible cuando las respuestas deben inferirse mediante una síntesis compleja o agregarse entre modalidades, eludiendo efectivamente las restricciones de seguridad existentes. Además, identificamos que proporcionar texto extraído mejora la percepción pero facilita inadvertidamente las filtraciones. Para abordar estas vulnerabilidades, proponemos DVA (Descomponer-Verificar-Agregar), un marco de inferencia estructural que desacopla el razonamiento de la verificación de políticas. Los resultados experimentales demuestran que DVA supera significativamente a las defensas basadas en indicaciones estándar, ofreciendo una base robusta para la comprensión de documentos conforme a las políticas.
English
The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding