ViDoRe V3: Una valutazione completa della generazione aumentata tramite recupero in scenari real-world complessi
ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios
January 13, 2026
Autori: António Loison, Quentin Macé, Antoine Edy, Victor Xing, Tom Balough, Gabriel Moreira, Bo Liu, Manuel Faysse, Céline Hudelot, Gautier Viaud
cs.AI
Abstract
Le pipeline di Generazione Aumentata tramite Recupero (RAG) devono affrontare sfide che vanno oltre il semplice recupero di documenti singoli, come l'interpretazione di elementi visivi (tabelle, grafici, immagini), la sintesi di informazioni tra documenti e la fornitura di un accurato ancoraggio alle fonti. I benchmark esistenti non colgono questa complessità, concentrandosi spesso su dati testuali, sulla comprensione di documenti singoli o sulla valutazione separata del recupero e della generazione. Introduciamo ViDoRe v3, un benchmark RAG multimodale completo che presenta query di tipo multiplo su corpora di documenti visivamente ricchi. Copre 10 dataset appartenenti a diversi domini professionali, comprendenti circa 26.000 pagine di documenti abbinate a 3.099 query verificate da esseri umani, ciascuna disponibile in 6 lingue. Grazie a 12.000 ore di lavoro di annotazione umana, forniamo annotazioni di alta qualità per la rilevanza nel recupero, la localizzazione tramite bounding box e risorse di riferimento verificate. La nostra valutazione delle pipeline RAG più all'avanguardia rivela che i sistemi di recupero visivi superano quelli testuali, i modelli a interazione tardiva e il riordinamento testuale migliorano sostanzialmente le prestazioni, e contesti ibridi o puramente visivi aumentano la qualità della generazione delle risposte. Tuttavia, i modelli attuali hanno ancora difficoltà con elementi non testuali, query aperte e l'ancoraggio visivo di precisione. Per incoraggiare progressi nell'affrontare queste sfide, il benchmark è rilasciato con una licenza commerciale permissiva all'indirizzo https://hf.co/vidore.
English
Retrieval-Augmented Generation (RAG) pipelines must address challenges beyond simple single-document retrieval, such as interpreting visual elements (tables, charts, images), synthesizing information across documents, and providing accurate source grounding. Existing benchmarks fail to capture this complexity, often focusing on textual data, single-document comprehension, or evaluating retrieval and generation in isolation. We introduce ViDoRe v3, a comprehensive multimodal RAG benchmark featuring multi-type queries over visually rich document corpora. It covers 10 datasets across diverse professional domains, comprising ~26,000 document pages paired with 3,099 human-verified queries, each available in 6 languages. Through 12,000 hours of human annotation effort, we provide high-quality annotations for retrieval relevance, bounding box localization, and verified reference answers. Our evaluation of state-of-the-art RAG pipelines reveals that visual retrievers outperform textual ones, late-interaction models and textual reranking substantially improve performance, and hybrid or purely visual contexts enhance answer generation quality. However, current models still struggle with non-textual elements, open-ended queries, and fine-grained visual grounding. To encourage progress in addressing these challenges, the benchmark is released under a commercially permissive license at https://hf.co/vidore.