UNIDOC-BENCH: Унифицированный бенчмарк для документо-ориентированного мультимодального RAG

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

October 4, 2025

Авторы: Xiangyu Peng, Cab Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

cs.AI

Аннотация

Мультимодальное извлечение и генерация с дополнением (MM-RAG) является ключевым подходом для применения больших языковых моделей (LLM) и агентов к реальным базам знаний, однако текущие оценки фрагментированы, сосредоточены либо на тексте, либо на изображениях в изоляции или на упрощенных мультимодальных настройках, которые не охватывают документо-ориентированные мультимодальные сценарии использования. В данной статье мы представляем UniDoc-Bench, первый крупномасштабный реалистичный бенчмарк для MM-RAG, созданный на основе 70 тысяч реальных страниц PDF из восьми областей. Наш конвейер извлекает и связывает доказательства из текста, таблиц и графиков, а затем генерирует 1600 мультимодальных пар вопросов и ответов, охватывающих фактологическое извлечение, сравнение, суммирование и логические рассуждения. Для обеспечения надежности 20% пар вопросов и ответов проверяются несколькими аннотаторами и экспертной оценкой. UniDoc-Bench поддерживает прямое сравнение между четырьмя парадигмами: (1) только текст, (2) только изображения, (3) мультимодальное слияние текста и изображений и (4) совместное мультимодальное извлечение — в рамках единого протокола с стандартизированными пулами кандидатов, запросами и метриками оценки. Наши эксперименты показывают, что мультимодальные системы RAG, объединяющие текст и изображения, стабильно превосходят как унимодальные, так и совместные мультимодальные подходы на основе встраивания, что указывает на недостаточность только текста или изображений и на неадекватность текущих мультимодальных встраиваний. Помимо бенчмаркинга, наш анализ раскрывает, когда и как визуальный контекст дополняет текстовые доказательства, выявляет систематические ошибки и предлагает практические рекомендации для разработки более надежных конвейеров MM-RAG.

English

Multimodal retrieval-augmented generation (MM-RAG) is a key approach for applying large language models (LLMs) and agents to real-world knowledge bases, yet current evaluations are fragmented, focusing on either text or images in isolation or on simplified multimodal setups that fail to capture document-centric multimodal use cases. In this paper, we introduce UniDoc-Bench, the first large-scale, realistic benchmark for MM-RAG built from 70k real-world PDF pages across eight domains. Our pipeline extracts and links evidence from text, tables, and figures, then generates 1,600 multimodal QA pairs spanning factual retrieval, comparison, summarization, and logical reasoning queries. To ensure reliability, 20% of QA pairs are validated by multiple annotators and expert adjudication. UniDoc-Bench supports apples-to-apples comparison across four paradigms: (1) text-only, (2) image-only, (3) multimodal text-image fusion, and (4) multimodal joint retrieval -- under a unified protocol with standardized candidate pools, prompts, and evaluation metrics. Our experiments show that multimodal text-image fusion RAG systems consistently outperform both unimodal and jointly multimodal embedding-based retrieval, indicating that neither text nor images alone are sufficient and that current multimodal embeddings remain inadequate. Beyond benchmarking, our analysis reveals when and how visual context complements textual evidence, uncovers systematic failure modes, and offers actionable guidance for developing more robust MM-RAG pipelines.