VisR-Bench: Uno Studio Empirico sulla Generazione Aumentata con Recupero Visivo per la Comprensione di Documenti Lunghi Multilingue

VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding

August 10, 2025

Autori: Jian Chen, Ming Li, Jihyung Kil, Chenguang Wang, Tong Yu, Ryan Rossi, Tianyi Zhou, Changyou Chen, Ruiyi Zhang

cs.AI

Abstract

La maggior parte dei dati organizzativi nel mondo sono memorizzati come documenti, e il recupero visivo svolge un ruolo cruciale nello sbloccare l'intelligenza collettiva da tutti questi documenti. Tuttavia, i benchmark esistenti si concentrano sul recupero di documenti solo in inglese o considerano unicamente il question-answering multilingue su immagini di singole pagine. Per colmare questa lacuna, introduciamo VisR-Bench, un benchmark multilingue progettato per il recupero multimodale guidato da domande in documenti lunghi. Il nostro benchmark comprende oltre 35K coppie domanda-risposta di alta qualità su 1.2K documenti, consentendo una valutazione granulare del recupero multimodale. VisR-Bench copre sedici lingue con tre tipi di domande (figure, testo e tabelle), offrendo una copertura linguistica e di domande diversificata. A differenza dei dataset precedenti, includiamo query senza risposte esplicite, impedendo ai modelli di affidarsi a un superficiale abbinamento di parole chiave. Valutiamo vari modelli di recupero, inclusi metodi basati su testo, encoder multimodali e MLLM, fornendo approfondimenti sui loro punti di forza e limitazioni. I nostri risultati mostrano che, sebbene gli MLLM superino significativamente i modelli basati su testo e gli encoder multimodali, continuano a incontrare difficoltà con tabelle strutturate e lingue a bassa risorsa, evidenziando le principali sfide nel recupero visivo multilingue.

English

Most organizational data in this world are stored as documents, and visual retrieval plays a crucial role in unlocking the collective intelligence from all these documents. However, existing benchmarks focus on English-only document retrieval or only consider multilingual question-answering on a single-page image. To bridge this gap, we introduce VisR-Bench, a multilingual benchmark designed for question-driven multimodal retrieval in long documents. Our benchmark comprises over 35K high-quality QA pairs across 1.2K documents, enabling fine-grained evaluation of multimodal retrieval. VisR-Bench spans sixteen languages with three question types (figures, text, and tables), offering diverse linguistic and question coverage. Unlike prior datasets, we include queries without explicit answers, preventing models from relying on superficial keyword matching. We evaluate various retrieval models, including text-based methods, multimodal encoders, and MLLMs, providing insights into their strengths and limitations. Our results show that while MLLMs significantly outperform text-based and multimodal encoder models, they still struggle with structured tables and low-resource languages, highlighting key challenges in multilingual visual retrieval.