M3DocRAG: La Recuperación Multimodal es lo que Necesitas para la Comprensión de Múltiples Páginas y Múltiples Documentos

M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding

November 7, 2024

Autores: Jaemin Cho, Debanjan Mahata, Ozan Irsoy, Yujie He, Mohit Bansal

cs.AI

Resumen

Los sistemas de respuesta visual a preguntas sobre documentos (DocVQA), que responden preguntas basadas en documentos, tienen amplias aplicaciones. Los métodos existentes se centran en procesar documentos de una sola página con modelos de lenguaje multimodal (MLM), o dependen de generación aumentada por recuperación (RAG) basada en texto que utiliza herramientas de extracción de texto como el reconocimiento óptico de caracteres (OCR). Sin embargo, existen dificultades para aplicar estos métodos en escenarios del mundo real: (a) las preguntas a menudo requieren información de diferentes páginas o documentos, donde los MLM no pueden manejar muchos documentos largos; (b) los documentos suelen contener información importante en elementos visuales como figuras, pero las herramientas de extracción de texto los ignoran. Presentamos M3DocRAG, un novedoso marco de trabajo RAG multimodal que se adapta flexiblemente a varios contextos de documentos (dominio cerrado y abierto), niveles de complejidad de las preguntas (salto único y saltos múltiples) y modalidades de evidencia (texto, gráficos, figuras, etc.). M3DocRAG encuentra documentos relevantes y responde preguntas utilizando un recuperador multimodal y un MLM, lo que le permite manejar de manera eficiente uno o muchos documentos preservando la información visual. Dado que los conjuntos de datos anteriores de DocVQA plantean preguntas en el contexto de un documento específico, también presentamos M3DocVQA, un nuevo punto de referencia para evaluar DocVQA de dominio abierto con más de 3,000 documentos PDF que suman más de 40,000 páginas. En tres benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA), los resultados empíricos muestran que M3DocRAG con ColPali y Qwen2-VL 7B logra un rendimiento superior al de muchas líneas base sólidas, incluyendo un rendimiento de vanguardia en MP-DocVQA. Proporcionamos análisis exhaustivos de diferentes modelos de indexación, MLM y recuperación. Por último, mostramos cualitativamente que M3DocRAG puede manejar con éxito varios escenarios, como cuando la información relevante existe en múltiples páginas y cuando la evidencia para la respuesta solo existe en imágenes.

English

Document visual question answering (DocVQA) pipelines that answer questions from documents have broad applications. Existing methods focus on handling single-page documents with multi-modal language models (MLMs), or rely on text-based retrieval-augmented generation (RAG) that uses text extraction tools such as optical character recognition (OCR). However, there are difficulties in applying these methods in real-world scenarios: (a) questions often require information across different pages or documents, where MLMs cannot handle many long documents; (b) documents often have important information in visual elements such as figures, but text extraction tools ignore them. We introduce M3DocRAG, a novel multi-modal RAG framework that flexibly accommodates various document contexts (closed-domain and open-domain), question hops (single-hop and multi-hop), and evidence modalities (text, chart, figure, etc.). M3DocRAG finds relevant documents and answers questions using a multi-modal retriever and an MLM, so that it can efficiently handle single or many documents while preserving visual information. Since previous DocVQA datasets ask questions in the context of a specific document, we also present M3DocVQA, a new benchmark for evaluating open-domain DocVQA over 3,000+ PDF documents with 40,000+ pages. In three benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA), empirical results show that M3DocRAG with ColPali and Qwen2-VL 7B achieves superior performance than many strong baselines, including state-of-the-art performance in MP-DocVQA. We provide comprehensive analyses of different indexing, MLMs, and retrieval models. Lastly, we qualitatively show that M3DocRAG can successfully handle various scenarios, such as when relevant information exists across multiple pages and when answer evidence only exists in images.