ViDoRe V3: Комплексная оценка генерации с расширением поиска в сложных реальных сценариях

ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios

January 13, 2026

Авторы: António Loison, Quentin Macé, Antoine Edy, Victor Xing, Tom Balough, Gabriel Moreira, Bo Liu, Manuel Faysse, Céline Hudelot, Gautier Viaud

cs.AI

Аннотация

Конвейеры генерации с расширением выборки (RAG) должны решать задачи, выходящие за рамки простого извлечения единичных документов, такие как интерпретация визуальных элементов (таблицы, диаграммы, изображения), синтез информации из нескольких документов и обеспечение точного указания источников. Существующие бенчмарки не отражают эту сложность, часто фокусируясь на текстовых данных, понимании одиночных документов или изолированной оценке извлечения и генерации. Мы представляем ViDoRe v3 — комплексный мультимодальный бенчмарк для RAG, включающий многотипные запросы к коллекциям визуально насыщенных документов. Он охватывает 10 наборов данных из различных профессиональных областей, состоящих из ~26 000 страниц документов, сопряженных с 3 099 проверенными человеком запросами, каждый из которых доступен на 6 языках. Благодаря 12 000 часам усилий по человеческой разметке мы предоставляем высококачественные аннотации для релевантности поиска, локализации ограничивающих рамок и проверенных эталонных ответов. Наша оценка современных RAG-конвейеров показывает, что визуальные модели поиска превосходят текстовые, модели с поздним взаимодействием и текстовый реранкинг существенно улучшают производительность, а гибридные или чисто визуальные контексты повышают качество генерации ответов. Однако современные модели по-прежнему испытывают трудности с нетекстовыми элементами, открытыми запросами и точной визуальной привязкой. Для стимулирования прогресса в решении этих задач бенчмарк выпущен под коммерчески разрешительной лицензией по адресу https://hf.co/vidore.

English

Retrieval-Augmented Generation (RAG) pipelines must address challenges beyond simple single-document retrieval, such as interpreting visual elements (tables, charts, images), synthesizing information across documents, and providing accurate source grounding. Existing benchmarks fail to capture this complexity, often focusing on textual data, single-document comprehension, or evaluating retrieval and generation in isolation. We introduce ViDoRe v3, a comprehensive multimodal RAG benchmark featuring multi-type queries over visually rich document corpora. It covers 10 datasets across diverse professional domains, comprising ~26,000 document pages paired with 3,099 human-verified queries, each available in 6 languages. Through 12,000 hours of human annotation effort, we provide high-quality annotations for retrieval relevance, bounding box localization, and verified reference answers. Our evaluation of state-of-the-art RAG pipelines reveals that visual retrievers outperform textual ones, late-interaction models and textual reranking substantially improve performance, and hybrid or purely visual contexts enhance answer generation quality. However, current models still struggle with non-textual elements, open-ended queries, and fine-grained visual grounding. To encourage progress in addressing these challenges, the benchmark is released under a commercially permissive license at https://hf.co/vidore.