UNIDOC-BENCH: Un punto de referencia unificado para RAG multimodal centrado en documentos

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

Autores: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

Resumen

La generación aumentada por recuperación multimodal (MM-RAG, por sus siglas en inglés) es un enfoque clave para aplicar modelos de lenguaje de gran escala (LLMs) y agentes a bases de conocimiento del mundo real. Sin embargo, las evaluaciones actuales están fragmentadas, centrándose en texto o imágenes de manera aislada o en configuraciones multimodales simplificadas que no capturan casos de uso multimodales centrados en documentos. En este artículo, presentamos UniDoc-Bench, el primer punto de referencia a gran escala y realista para MM-RAG, construido a partir de 70 mil páginas de PDF del mundo real en ocho dominios. Nuestro pipeline extrae y vincula evidencia de texto, tablas y figuras, generando luego 1,600 pares de preguntas y respuestas (QA) multimodales que abarcan recuperación factual, comparación, resumen y consultas de razonamiento lógico. Para garantizar la fiabilidad, el 20% de los pares QA son validados por múltiples anotadores y adjudicación experta. UniDoc-Bench permite una comparación directa entre cuatro paradigmas: (1) solo texto, (2) solo imágenes, (3) fusión multimodal texto-imagen y (4) recuperación conjunta multimodal, bajo un protocolo unificado con grupos de candidatos estandarizados, indicaciones y métricas de evaluación. Nuestros experimentos muestran que los sistemas RAG de fusión multimodal texto-imagen superan consistentemente tanto a la recuperación unimodal como a la basada en incrustaciones multimodales conjuntas, lo que indica que ni el texto ni las imágenes por sí solos son suficientes y que las incrustaciones multimodales actuales siguen siendo inadecuadas. Más allá de la evaluación comparativa, nuestro análisis revela cuándo y cómo el contexto visual complementa la evidencia textual, descubre modos de fallo sistemáticos y ofrece orientación práctica para desarrollar pipelines MM-RAG más robustos.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.