UNIDOC-BENCH: Ein einheitlicher Benchmark für dokumentenzentriertes multimodales RAG

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

papers.authors: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

papers.abstract

Multimodale Retrieval-Augmented Generation (MM-RAG) ist ein zentraler Ansatz, um große Sprachmodelle (LLMs) und Agenten auf reale Wissensbasen anzuwenden. Dennoch sind aktuelle Evaluierungen fragmentiert und konzentrieren sich entweder auf Text oder Bilder in Isolation oder auf vereinfachte multimodale Setups, die dokumentzentrierte multimodale Anwendungsfälle nicht erfassen. In diesem Artikel stellen wir UniDoc-Bench vor, den ersten groß angelegten, realistischen Benchmark für MM-RAG, der aus 70.000 realen PDF-Seiten aus acht Domänen erstellt wurde. Unsere Pipeline extrahiert und verknüpft Belege aus Text, Tabellen und Abbildungen und generiert dann 1.600 multimodale QA-Paare, die faktische Abfragen, Vergleiche, Zusammenfassungen und logische Schlussfolgerungen abdecken. Um die Zuverlässigkeit zu gewährleisten, werden 20 % der QA-Paare durch mehrere Annotatoren und Expertenentscheidungen validiert. UniDoc-Bench ermöglicht einen direkten Vergleich über vier Paradigmen hinweg: (1) rein textbasiert, (2) rein bildbasiert, (3) multimodale Text-Bild-Fusion und (4) multimodale gemeinsame Retrieval – unter einem einheitlichen Protokoll mit standardisierten Kandidatenpools, Prompts und Bewertungsmetriken. Unsere Experimente zeigen, dass multimodale Text-Bild-Fusion-RAG-Systeme durchweg sowohl unimodale als auch gemeinsam multimodale, embedding-basierte Retrieval-Ansätze übertreffen, was darauf hinweist, dass weder Text noch Bilder allein ausreichen und dass aktuelle multimodale Embeddings noch unzureichend sind. Über das Benchmarking hinaus zeigt unsere Analyse, wann und wie visueller Kontext textuelle Belege ergänzt, deckt systematische Fehlermuster auf und bietet umsetzbare Leitlinien für die Entwicklung robusterer MM-RAG-Pipelines.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.