UNIDOC-BENCH: Un Benchmark Unificato per il RAG Multimodale Centrato sui Documenti

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

Autori: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

Abstract

La generazione aumentata dal recupero multimodale (MM-RAG) è un approccio chiave per applicare i grandi modelli linguistici (LLM) e gli agenti alle basi di conoscenza del mondo reale. Tuttavia, le valutazioni attuali sono frammentate, concentrandosi su testo o immagini in isolamento o su configurazioni multimodali semplificate che non riescono a catturare casi d'uso multimodali centrati sui documenti. In questo articolo, introduciamo UniDoc-Bench, il primo benchmark su larga scala e realistico per MM-RAG, costruito da 70k pagine PDF reali in otto domini. La nostra pipeline estrae e collega evidenze da testo, tabelle e figure, generando poi 1.600 coppie QA multimodali che coprono recupero fattuale, confronto, riassunto e query di ragionamento logico. Per garantire l'affidabilità, il 20% delle coppie QA è validato da più annotatori e da una revisione esperta. UniDoc-Bench supporta un confronto diretto tra quattro paradigmi: (1) solo testo, (2) solo immagini, (3) fusione multimodale testo-immagine e (4) recupero congiunto multimodale — sotto un protocollo unificato con pool di candidati standardizzati, prompt e metriche di valutazione. I nostri esperimenti mostrano che i sistemi RAG di fusione multimodale testo-immagine superano costantemente sia il recupero unimodale che quello basato su embedding multimodali congiunti, indicando che né il testo né le immagini da sole sono sufficienti e che gli attuali embedding multimodali rimangono inadeguati. Oltre al benchmarking, la nostra analisi rivela quando e come il contesto visivo integra l'evidenza testuale, scopre modalità di fallimento sistematiche e offre indicazioni pratiche per sviluppare pipeline MM-RAG più robuste.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.