Doc-PP: Benchmark per la Conservazione delle Politiche Documentali nei Grandi Modelli Visione-Linguaggio
Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
January 7, 2026
Autori: Haeun Jang, Hwan Chang, Hwanhee Lee
cs.AI
Abstract
L'implementazione di Large Vision-Language Models (LVLM) per attività di question answering su documenti reali è spesso vincolata da politiche dinamiche, definite dall'utente, che dettano la divulgazione delle informazioni in base al contesto. Sebbene garantire l'aderenza a questi vincoli espliciti sia cruciale, la ricerca esistente sulla sicurezza si concentra principalmente su norme sociali implicite o su ambienti esclusivamente testuali, trascurando le complessità dei documenti multimodali. In questo articolo, introduciamo Doc-PP (Document Policy Preservation Benchmark), un nuovo benchmark costruito a partire da report del mondo reale che richiedono ragionamenti su elementi eterogenei visivi e testuali sotto rigide politiche di non divulgazione. La nostra valutazione mette in luce un sistematico Divario di Sicurezza Indotto dal Ragionamento: i modelli divulgano frequentemente informazioni sensibili quando le risposte devono essere inferite attraverso una sintesi complessa o aggregate tra diverse modalità, eludendo di fatto i vincoli di sicurezza esistenti. Inoltre, identifichiamo come la fornitura di testo estratto migliori la percezione ma faciliti inavvertitamente la divulgazione. Per affrontare queste vulnerabilità, proponiamo DVA (Decomponi-Verifica-Aggrega), un framework di inferenza strutturale che disaccoppia il ragionamento dalla verifica delle politiche. I risultati sperimentali dimostrano che DVA supera significativamente le difese basate su prompting standard, offrendo una baseline robusta per la comprensione dei documenti conforme alle politiche.
English
The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding