Doc-PP: Benchmark de Preservação de Políticas Documentais para Grandes Modelos de Visão e Linguagem
Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
January 7, 2026
Autores: Haeun Jang, Hwan Chang, Hwanhee Lee
cs.AI
Resumo
A implantação de Grandes Modelos de Visão e Linguagem (LVLMs) para tarefas de resposta a perguntas sobre documentos do mundo real é frequentemente limitada por políticas dinâmicas, definidas pelo utilizador, que ditam a divulgação de informações com base no contexto. Embora garantir a adesão a estas restrições explícitas seja crucial, a investigação existente em segurança centra-se principalmente em normas sociais implícitas ou em ambientes apenas de texto, negligenciando as complexidades dos documentos multimodais. Neste artigo, introduzimos o Doc-PP (Document Policy Preservation Benchmark), um novo *benchmark* construído a partir de relatórios do mundo real que exigem raciocínio através de elementos visuais e textuais heterogéneos sob políticas estritas de não divulgação. A nossa avaliação destaca uma Lacuna de Segurança Induzida pelo Raciocínio sistémica: os modelos divulgam frequentemente informações sensíveis quando as respostas devem ser inferidas através de síntese complexa ou agregadas entre modalidades, contornando efetivamente as restrições de segurança existentes. Além disso, identificámos que fornecer texto extraído melhora a perceção, mas facilita inadvertidamente a fuga de informação. Para abordar estas vulnerabilidades, propomos o DVA (Decompor-Verificar-Agregar), um quadro de inferência estrutural que desacopla o raciocínio da verificação da política. Resultados experimentais demonstram que o DVA supera significativamente as defesas padrão baseadas em *prompting*, oferecendo uma base robusta para a compreensão de documentos em conformidade com as políticas.
English
The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding