M3DocRAG: Multimodale Retrieval ist der Schlüssel für das Verständnis mehrseitiger und mehrdokumentiger Inhalte

M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding

November 7, 2024

papers.authors: Jaemin Cho, Debanjan Mahata, Ozan Irsoy, Yujie He, Mohit Bansal

cs.AI

papers.abstract

Dokumentenbasierte visuelle Frage-Antwort-Systeme (DocVQA), die Fragen zu Dokumenten beantworten, haben vielfältige Anwendungsmöglichkeiten. Bisherige Methoden konzentrieren sich auf die Verarbeitung von einseitigen Dokumenten mit multimodalen Sprachmodellen (MLMs) oder stützen sich auf textbasierte, retrievergestützte Generierung (RAG), die Textextraktionswerkzeuge wie optische Zeichenerkennung (OCR) nutzt. Allerdings gibt es Schwierigkeiten bei der Anwendung dieser Methoden in realen Szenarien: (a) Fragen erfordern oft Informationen aus verschiedenen Seiten oder Dokumenten, wobei MLMs viele lange Dokumente nicht verarbeiten können; (b) Dokumente enthalten häufig wichtige Informationen in visuellen Elementen wie Diagrammen, die von Textextraktionswerkzeugen ignoriert werden. Wir stellen M3DocRAG vor, ein neuartiges multimodales RAG-Framework, das flexibel verschiedene Dokumentkontexte (geschlossene und offene Domänen), Fragearten (einfache und mehrstufige Fragen) sowie Beweismodalitäten (Text, Diagramm, Abbildung usw.) berücksichtigt. M3DocRAG findet relevante Dokumente und beantwortet Fragen mithilfe eines multimodalen Retrievers und eines MLMs, sodass es effizient einzelne oder viele Dokumente verarbeiten kann, während visuelle Informationen erhalten bleiben. Da bisherige DocVQA-Datensätze Fragen im Kontext eines spezifischen Dokuments stellen, präsentieren wir auch M3DocVQA, einen neuen Benchmark zur Bewertung von offenen DocVQA-Szenarien mit über 3.000 PDF-Dokumenten und 40.000+ Seiten. In drei Benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA) zeigen empirische Ergebnisse, dass M3DocRAG mit ColPali und Qwen2-VL 7B eine überlegene Leistung gegenüber vielen starken Baselines erzielt, einschließlich state-of-the-art-Leistungen in MP-DocVQA. Wir bieten umfassende Analysen verschiedener Indexierungsmethoden, MLMs und Retrieval-Modelle. Schließlich zeigen wir qualitativ, dass M3DocRAG erfolgreich verschiedene Szenarien bewältigen kann, wie z. B. wenn relevante Informationen über mehrere Seiten verteilt sind oder wenn Antwortbeweise nur in Bildern existieren.

English

Document visual question answering (DocVQA) pipelines that answer questions from documents have broad applications. Existing methods focus on handling single-page documents with multi-modal language models (MLMs), or rely on text-based retrieval-augmented generation (RAG) that uses text extraction tools such as optical character recognition (OCR). However, there are difficulties in applying these methods in real-world scenarios: (a) questions often require information across different pages or documents, where MLMs cannot handle many long documents; (b) documents often have important information in visual elements such as figures, but text extraction tools ignore them. We introduce M3DocRAG, a novel multi-modal RAG framework that flexibly accommodates various document contexts (closed-domain and open-domain), question hops (single-hop and multi-hop), and evidence modalities (text, chart, figure, etc.). M3DocRAG finds relevant documents and answers questions using a multi-modal retriever and an MLM, so that it can efficiently handle single or many documents while preserving visual information. Since previous DocVQA datasets ask questions in the context of a specific document, we also present M3DocVQA, a new benchmark for evaluating open-domain DocVQA over 3,000+ PDF documents with 40,000+ pages. In three benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA), empirical results show that M3DocRAG with ColPali and Qwen2-VL 7B achieves superior performance than many strong baselines, including state-of-the-art performance in MP-DocVQA. We provide comprehensive analyses of different indexing, MLMs, and retrieval models. Lastly, we qualitatively show that M3DocRAG can successfully handle various scenarios, such as when relevant information exists across multiple pages and when answer evidence only exists in images.