VisR-Bench: Eine empirische Studie zur visuellen abrufverstärkten Generierung für das Verständnis mehrsprachiger langer Dokumente

VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding

August 10, 2025

papers.authors: Jian Chen, Ming Li, Jihyung Kil, Chenguang Wang, Tong Yu, Ryan Rossi, Tianyi Zhou, Changyou Chen, Ruiyi Zhang

cs.AI

papers.abstract

Die meisten organisatorischen Daten in dieser Welt werden als Dokumente gespeichert, und die visuelle Extraktion spielt eine entscheidende Rolle bei der Erschließung der kollektiven Intelligenz aus all diesen Dokumenten. Bisherige Benchmarks konzentrieren sich jedoch entweder auf die Dokumentenextraktion ausschließlich in englischer Sprache oder berücksichtigen nur mehrsprachige Frage-Antwort-Systeme auf Einzelseitenbildern. Um diese Lücke zu schließen, stellen wir VisR-Bench vor, einen mehrsprachigen Benchmark, der für die fragengesteuerte multimodale Extraktion in langen Dokumenten entwickelt wurde. Unser Benchmark umfasst über 35.000 hochwertige Frage-Antwort-Paare aus 1.200 Dokumenten und ermöglicht eine detaillierte Bewertung der multimodalen Extraktion. VisR-Bench deckt sechzehn Sprachen mit drei Fragetypen (Abbildungen, Text und Tabellen) ab und bietet eine vielfältige linguistische und Fragendeckung. Im Gegensatz zu früheren Datensätzen beinhalten wir Anfragen ohne explizite Antworten, um zu verhindern, dass Modelle sich auf oberflächliche Schlüsselwortabgleiche verlassen. Wir bewerten verschiedene Extraktionsmodelle, darunter textbasierte Methoden, multimodale Encoder und MLLMs, und liefern Einblicke in deren Stärken und Schwächen. Unsere Ergebnisse zeigen, dass MLLMs zwar textbasierte und multimodale Encoder-Modelle deutlich übertreffen, sie jedoch weiterhin Schwierigkeiten mit strukturierten Tabellen und ressourcenarmen Sprachen haben, was zentrale Herausforderungen in der mehrsprachigen visuellen Extraktion verdeutlicht.

English

Most organizational data in this world are stored as documents, and visual retrieval plays a crucial role in unlocking the collective intelligence from all these documents. However, existing benchmarks focus on English-only document retrieval or only consider multilingual question-answering on a single-page image. To bridge this gap, we introduce VisR-Bench, a multilingual benchmark designed for question-driven multimodal retrieval in long documents. Our benchmark comprises over 35K high-quality QA pairs across 1.2K documents, enabling fine-grained evaluation of multimodal retrieval. VisR-Bench spans sixteen languages with three question types (figures, text, and tables), offering diverse linguistic and question coverage. Unlike prior datasets, we include queries without explicit answers, preventing models from relying on superficial keyword matching. We evaluate various retrieval models, including text-based methods, multimodal encoders, and MLLMs, providing insights into their strengths and limitations. Our results show that while MLLMs significantly outperform text-based and multimodal encoder models, they still struggle with structured tables and low-resource languages, highlighting key challenges in multilingual visual retrieval.