ViDoRe V3: Eine umfassende Bewertung von Retrieval-Augmented Generation in komplexen realen Anwendungsszenarien

ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios

January 13, 2026

papers.authors: António Loison, Quentin Macé, Antoine Edy, Victor Xing, Tom Balough, Gabriel Moreira, Bo Liu, Manuel Faysse, Céline Hudelot, Gautier Viaud

cs.AI

papers.abstract

Retrieval-Augmented Generation (RAG)-Pipelines müssen Herausforderungen bewältigen, die über eine einfache Einzeldokumenten-Rückgewinnung hinausgehen, wie die Interpretation visueller Elemente (Tabellen, Diagramme, Bilder), die Synthese von Informationen über mehrere Dokumente hinweg und die Bereitstellung einer genauen Quellenverankerung. Bestehende Benchmarks erfassen diese Komplexität nicht ausreichend, da sie sich oft auf Textdaten, das Verständnis einzelner Dokumente oder die isolierte Bewertung von Retrieval und Generierung konzentrieren. Wir stellen ViDoRe v3 vor, einen umfassenden multimodalen RAG-Benchmark mit mehrtypigen Abfragen über visuell anspruchsvolle Dokumentenkorpora. Er umfasst 10 Datensätze aus verschiedenen Fachdomänen, bestehend aus ~26.000 Dokumentenseiten, die mit 3.099 menschlich verifizierten Abfragen verknüpft sind, jeweils verfügbar in 6 Sprachen. Durch 12.000 Stunden manueller Annotationsarbeit liefern wir hochwertige Annotationen für Retrieval-Relevanz, Bounding-Box-Lokalisierung und verifizierte Referenzantworten. Unsere Evaluation modernster RAG-Pipelines zeigt, dass visuelle Retriever textbasierten überlegen sind, Late-Interaction-Modelle und textuelles Re-Ranking die Leistung erheblich verbessern sowie hybride oder rein visuelle Kontexte die Qualität der Antwortgenerierung steigern. Allerdings haben aktuelle Modelle nach wie vor Schwierigkeiten mit nicht-textuellen Elementen, offenen Abfragen und feinkörniger visueller Verankerung. Um Fortschritte bei der Bewältigung dieser Herausforderungen zu fördern, wird der Benchmark unter einer kommerziell freizügigen Lizenz unter https://hf.co/vidore veröffentlicht.

English

Retrieval-Augmented Generation (RAG) pipelines must address challenges beyond simple single-document retrieval, such as interpreting visual elements (tables, charts, images), synthesizing information across documents, and providing accurate source grounding. Existing benchmarks fail to capture this complexity, often focusing on textual data, single-document comprehension, or evaluating retrieval and generation in isolation. We introduce ViDoRe v3, a comprehensive multimodal RAG benchmark featuring multi-type queries over visually rich document corpora. It covers 10 datasets across diverse professional domains, comprising ~26,000 document pages paired with 3,099 human-verified queries, each available in 6 languages. Through 12,000 hours of human annotation effort, we provide high-quality annotations for retrieval relevance, bounding box localization, and verified reference answers. Our evaluation of state-of-the-art RAG pipelines reveals that visual retrievers outperform textual ones, late-interaction models and textual reranking substantially improve performance, and hybrid or purely visual contexts enhance answer generation quality. However, current models still struggle with non-textual elements, open-ended queries, and fine-grained visual grounding. To encourage progress in addressing these challenges, the benchmark is released under a commercially permissive license at https://hf.co/vidore.