Doc-PP: Benchmark zur Erhaltung von Dokumentenrichtlinien für große visuell-sprachliche Modelle
Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
January 7, 2026
papers.authors: Haeun Jang, Hwan Chang, Hwanhee Lee
cs.AI
papers.abstract
Der Einsatz großer visuell-sprachlicher Modelle (LVLMs) für die Beantwortung von Fragen zu realen Dokumenten wird häufig durch dynamische, benutzerdefinierte Richtlinien eingeschränkt, die die Informationspreisgabe kontextabhängig vorgeben. Während die Einhaltung dieser expliziten Einschränkungen entscheidend ist, konzentriert sich die bestehende Sicherheitsforschung primär auf implizite soziale Normen oder rein textbasierte Settings und übersieht dabei die Komplexität multimodaler Dokumente. In diesem Artikel stellen wir Doc-PP (Document Policy Preservation Benchmark) vor, einen neuartigen Benchmark, der auf realen Berichten basiert und Reasoning über heterogene visuelle und textuelle Elemente unter strengen Geheimhaltungsrichtlinien erfordert. Unsere Evaluation zeigt eine systemische Reasoning-Induced Safety Gap: Modelle geben häufig sensible Informationen preis, wenn Antworten durch komplexe Synthese oder aggregation über Modalitäten hinweg abgeleitet werden müssen, wodurch bestehende Sicherheitsbeschränkungen effektiv umgangen werden. Des Weiteren stellen wir fest, dass die Bereitstellung extrahierten Texts die Wahrnehmung verbessert, aber unbeabsichtigt Datenlecks begünstigt. Um diese Schwachstellen zu adressieren, schlagen wir DVA (Decompose-Verify-Aggregation) vor, ein strukturelles Inferenzframework, das Reasoning von der Richtlinienüberprüfung entkoppelt. Experimentelle Ergebnisse zeigen, dass DVA Standard-Prompting-Verteidigungen signifikant übertrifft und eine robuste Baseline für richtlinienkonformes Dokumentenverständnis bietet.
English
The deployment of Large Vision-Language Models (LVLMs) for real-world document question answering is often constrained by dynamic, user-defined policies that dictate information disclosure based on context. While ensuring adherence to these explicit constraints is critical, existing safety research primarily focuses on implicit social norms or text-only settings, overlooking the complexities of multimodal documents. In this paper, we introduce Doc-PP (Document Policy Preservation Benchmark), a novel benchmark constructed from real-world reports requiring reasoning across heterogeneous visual and textual elements under strict non-disclosure policies. Our evaluation highlights a systemic Reasoning-Induced Safety Gap: models frequently leak sensitive information when answers must be inferred through complex synthesis or aggregated across modalities, effectively circumventing existing safety constraints. Furthermore, we identify that providing extracted text improves perception but inadvertently facilitates leakage. To address these vulnerabilities, we propose DVA (Decompose-Verify-Aggregation), a structural inference framework that decouples reasoning from policy verification. Experimental results demonstrate that DVA significantly outperforms standard prompting defenses, offering a robust baseline for policy-compliant document understanding