Doc-PP: Benchmark voor Behoud van Documentbeleid voor Grote Vision-Language Modellen

Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

January 7, 2026

Auteurs: Haeun Jang, Hwan Chang, Hwanhee Lee

cs.AI

Samenvatting

De inzet van Large Vision-Language Models (LVLM's) voor vraag-antwoordtaken met echte documenten wordt vaak beperkt door dynamische, door de gebruiker gedefinieerde beleidsregels die de informatievrijgave op basis van context dicteren. Hoewel het waarborgen van naleving van deze expliciete beperkingen cruciaal is, richt bestaand veiligheidsonderzoek zich voornamelijk op impliciete sociale normen of uitsluitend tekstuele settings, waarbij de complexiteit van multimodale documenten over het hoofd wordt gezien. In dit artikel introduceren we Doc-PP (Document Policy Preservation Benchmark), een nieuwe benchmark die is opgebouwd uit echte rapporten en die redeneren vereist over heterogene visuele en tekstuele elementen onder strikte non-disclosure beleidsregels. Onze evaluatie benadrukt een systemische Reasoning-Induced Safety Gap: modellen lekken frequent gevoelige informatie wanneer antwoorden moeten worden afgeleid door complexe synthese of geaggregeerd moeten worden over modaliteiten heen, waardoor bestaande veiligheidsbeperkingen effectief worden omzeild. Verder identificeren we dat het verstrekken van geëxtraheerde tekst de perceptie verbetert, maar onbedoeld lekken vergemakkelijkt. Om deze kwetsbaarheden aan te pakken, stellen we DVA (Decompose-Verify-Aggregation) voor, een structureel raamwerk voor inferentie dat redeneren ontkoppelt van beleidsverificatie. Experimentele resultaten tonen aan dat DVA aanzienlijk beter presteert dan standaard prompting-verdedigingen, en biedt een robuuste basislijn voor beleidsconforme documentinterpretatie.

English

The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding