UNIDOC-BENCH: Een Uniforme Benchmark voor Document-Gerichte Multimodale RAG

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

Auteurs: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

Samenvatting

Multimodale retrieval-augmented generation (MM-RAG) is een belangrijke benadering voor het toepassen van grote taalmodellen (LLM's) en agents op kennisbanken uit de echte wereld. Huidige evaluaties zijn echter gefragmenteerd, waarbij de focus ligt op tekst of afbeeldingen in isolatie of op vereenvoudigde multimodale opstellingen die documentgerichte multimodale use cases niet goed weergeven. In dit artikel introduceren we UniDoc-Bench, de eerste grootschalige, realistische benchmark voor MM-RAG, gebouwd op basis van 70k pagina's uit echte PDF-documenten uit acht domeinen. Onze pijplijn extraheert en koppelt bewijs uit tekst, tabellen en figuren, en genereert vervolgens 1.600 multimodale vraag-antwoordparen die zich uitstrekken over feitelijke retrieval, vergelijking, samenvatting en logische redenering. Om de betrouwbaarheid te waarborgen, wordt 20% van de vraag-antwoordparen gevalideerd door meerdere annotators en expertadjudicatie. UniDoc-Bench ondersteunt een eerlijke vergelijking tussen vier paradigma's: (1) alleen tekst, (2) alleen afbeeldingen, (3) multimodale tekst-afbeeldingfusie, en (4) multimodale gezamenlijke retrieval — onder een uniform protocol met gestandaardiseerde kandidaatpools, prompts en evaluatiemetrics. Onze experimenten tonen aan dat multimodale tekst-afbeeldingfusie RAG-systemen consistent beter presteren dan zowel unimodale als gezamenlijk multimodale embedding-gebaseerde retrieval, wat aangeeft dat noch tekst noch afbeeldingen alleen voldoende zijn en dat huidige multimodale embeddings ontoereikend blijven. Naast benchmarking onthult onze analyse wanneer en hoe visuele context tekstueel bewijs aanvult, legt systematische faalmodi bloot en biedt het actiegerichte richtlijnen voor het ontwikkelen van robuustere MM-RAG-pijplijnen.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.