UNIDOC-BENCH : Un benchmark unifié pour le RAG multimodal centré sur les documents

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

papers.authors: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

papers.abstract

La génération augmentée par récupération multimodale (MM-RAG) est une approche clé pour appliquer les grands modèles de langage (LLMs) et les agents à des bases de connaissances du monde réel. Cependant, les évaluations actuelles sont fragmentées, se concentrant soit sur le texte, soit sur les images de manière isolée, ou sur des configurations multimodales simplifiées qui ne parviennent pas à capturer les cas d'utilisation multimodaux centrés sur les documents. Dans cet article, nous présentons UniDoc-Bench, le premier benchmark à grande échelle et réaliste pour la MM-RAG, construit à partir de 70 000 pages PDF réelles couvrant huit domaines. Notre pipeline extrait et relie des preuves issues du texte, des tableaux et des figures, puis génère 1 600 paires de questions-réponses multimodales couvrant des requêtes de récupération factuelle, de comparaison, de synthèse et de raisonnement logique. Pour garantir la fiabilité, 20 % des paires de questions-réponses sont validées par plusieurs annotateurs et un arbitrage expert. UniDoc-Bench permet une comparaison directe entre quatre paradigmes : (1) texte uniquement, (2) image uniquement, (3) fusion multimodale texte-image, et (4) récupération multimodale conjointe — sous un protocole unifié avec des pools de candidats standardisés, des prompts et des métriques d'évaluation. Nos expériences montrent que les systèmes MM-RAG de fusion texte-image surpassent systématiquement à la fois les récupérations unimodales et celles basées sur des embeddings multimodaux conjoints, indiquant que ni le texte ni les images seuls ne suffisent et que les embeddings multimodaux actuels restent inadéquats. Au-delà du benchmarking, notre analyse révèle quand et comment le contexte visuel complète les preuves textuelles, identifie des modes d'échec systématiques et propose des conseils pratiques pour développer des pipelines MM-RAG plus robustes.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.