ViDoRe V3: Uma Avaliação Abrangente da Geração Aumentada por Recuperação em Cenários Reais Complexos
ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios
January 13, 2026
Autores: António Loison, Quentin Macé, Antoine Edy, Victor Xing, Tom Balough, Gabriel Moreira, Bo Liu, Manuel Faysse, Céline Hudelot, Gautier Viaud
cs.AI
Resumo
Os sistemas de Geração Aumentada por Recuperação (RAG) precisam superar desafios que vão além da simples recuperação de documentos únicos, como a interpretação de elementos visuais (tabelas, gráficos, imagens), a síntese de informações entre vários documentos e o fornecimento de uma fundamentação precisa das fontes. Os *benchmarks* existentes não capturam essa complexidade, focando-se frequentemente em dados textuais, na compreensão de documentos únicos ou na avaliação isolada da recuperação e da geração. Apresentamos o ViDoRe v3, um *benchmark* multimodal abrangente para RAG, que apresenta consultas de múltiplos tipos sobre corpora de documentos visualmente ricos. Abrange 10 conjuntos de dados de diversos domínios profissionais, compreendendo aproximadamente 26.000 páginas de documentos emparelhadas com 3.099 consultas validadas por humanos, cada uma disponível em 6 idiomas. Através de 12.000 horas de trabalho de anotação humana, fornecemos anotações de alta qualidade para relevância na recuperação, localização por *bounding boxes* e respostas de referência verificadas. A nossa avaliação dos sistemas RAG mais avançados revela que os recuperadores visuais superam os textuais, que os modelos de interação tardia e o reranking textual melhoram substancialmente o desempenho, e que contextos híbridos ou puramente visuais aumentam a qualidade da geração de respostas. No entanto, os modelos atuais ainda têm dificuldades com elementos não textuais, consultas abertas e a fundamentação visual de granularidade fina. Para incentivar o progresso na resolução destes desafios, o *benchmark* é disponibilizado sob uma licença comercialmente permissiva em https://hf.co/vidore.
English
Retrieval-Augmented Generation (RAG) pipelines must address challenges beyond simple single-document retrieval, such as interpreting visual elements (tables, charts, images), synthesizing information across documents, and providing accurate source grounding. Existing benchmarks fail to capture this complexity, often focusing on textual data, single-document comprehension, or evaluating retrieval and generation in isolation. We introduce ViDoRe v3, a comprehensive multimodal RAG benchmark featuring multi-type queries over visually rich document corpora. It covers 10 datasets across diverse professional domains, comprising ~26,000 document pages paired with 3,099 human-verified queries, each available in 6 languages. Through 12,000 hours of human annotation effort, we provide high-quality annotations for retrieval relevance, bounding box localization, and verified reference answers. Our evaluation of state-of-the-art RAG pipelines reveals that visual retrievers outperform textual ones, late-interaction models and textual reranking substantially improve performance, and hybrid or purely visual contexts enhance answer generation quality. However, current models still struggle with non-textual elements, open-ended queries, and fine-grained visual grounding. To encourage progress in addressing these challenges, the benchmark is released under a commercially permissive license at https://hf.co/vidore.