UNIDOC-BENCH: Um Benchmark Unificado para RAG Multimodal Centrado em Documentos

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

Autores: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

Resumo

A geração aumentada por recuperação multimodal (MM-RAG) é uma abordagem fundamental para aplicar modelos de linguagem de grande escala (LLMs) e agentes a bases de conhecimento do mundo real. No entanto, as avaliações atuais são fragmentadas, focando-se em texto ou imagens isoladamente ou em configurações multimodais simplificadas que não capturam casos de uso multimodais centrados em documentos. Neste artigo, apresentamos o UniDoc-Bench, o primeiro benchmark em larga escala e realista para MM-RAG, construído a partir de 70 mil páginas de PDFs reais em oito domínios. Nosso pipeline extrai e vincula evidências de texto, tabelas e figuras, gerando 1.600 pares de perguntas e respostas (QA) multimodais que abrangem consultas de recuperação factual, comparação, sumarização e raciocínio lógico. Para garantir confiabilidade, 20% dos pares QA são validados por múltiplos anotadores e arbitragem de especialistas. O UniDoc-Bench permite comparações diretas entre quatro paradigmas: (1) apenas texto, (2) apenas imagem, (3) fusão multimodal texto-imagem e (4) recuperação conjunta multimodal — sob um protocolo unificado com pools de candidatos padronizados, prompts e métricas de avaliação. Nossos experimentos mostram que sistemas MM-RAG de fusão texto-imagem superam consistentemente tanto a recuperação unimodal quanto a baseada em embeddings multimodais conjuntos, indicando que nem texto nem imagens isoladamente são suficientes e que os embeddings multimodais atuais permanecem inadequados. Além do benchmarking, nossa análise revela quando e como o contexto visual complementa evidências textuais, expõe modos de falha sistemáticos e oferece orientações práticas para o desenvolvimento de pipelines MM-RAG mais robustos.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.