M3DocRAG: Мультимодальный поиск — это то, что нужно для понимания многостраничных и многодокументных данных

M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding

November 7, 2024

Авторы: Jaemin Cho, Debanjan Mahata, Ozan Irsoy, Yujie He, Mohit Bansal

cs.AI

Аннотация

Системы визуального ответа на вопросы по документам (DocVQA), которые отвечают на вопросы на основе документов, имеют широкую сферу применения. Существующие методы сосредоточены на обработке одностраничных документов с помощью мультимодальных языковых моделей (МЯМ) или полагаются на текстовую генерацию с усилением retrieval-ом (RAG), использующую инструменты извлечения текста, такие как оптическое распознавание символов (OCR). Однако применение этих методов в реальных сценариях сопряжено с трудностями: (а) вопросы часто требуют информации из разных страниц или документов, с чем МЯМ не справляются при работе с большим количеством длинных документов; (b) документы часто содержат важную информацию в визуальных элементах, таких как рисунки и диаграммы, но инструменты извлечения текста игнорируют их. Мы представляем M3DocRAG — новую мультимодальную RAG-архитектуру, которая гибко адаптируется к различным контекстам документов (закрытого и открытого доменов), типам вопросов (одношаговые и многошаговые) и модальностям доказательств (текст, диаграмма, рисунок и т.д.). M3DocRAG находит релевантные документы и отвечает на вопросы с помощью мультимодального retriever-а и МЯМ, что позволяет эффективно обрабатывать как отдельные документы, так и их большие коллекции, сохраняя при этом визуальную информацию. Поскольку существующие наборы данных DocVQA задают вопросы в контексте конкретного документа, мы также представляем M3DocVQA — новый эталонный набор для оценки открытой DocVQA, содержащий более 3000 PDF-документов с общим числом страниц свыше 40 000. На трех эталонах (M3DocVQA/MMLongBench-Doc/MP-DocVQA) эмпирические результаты показывают, что M3DocRAG в сочетании с моделями ColPali и Qwen2-VL 7B демонстрирует превосходную производительность по сравнению со многими сильными базовыми методами, включая наилучший результат на MP-DocVQA. Мы предоставляем всесторонний анализ различных подходов к индексированию, МЯМ и моделей retrieval-а. Наконец, мы качественно показываем, что M3DocRAG успешно справляется с различными сценариями, такими как случаи, когда релевантная информация распределена по нескольким страницам, или когда доказательства для ответа существуют только в изображениях.

English

Document visual question answering (DocVQA) pipelines that answer questions from documents have broad applications. Existing methods focus on handling single-page documents with multi-modal language models (MLMs), or rely on text-based retrieval-augmented generation (RAG) that uses text extraction tools such as optical character recognition (OCR). However, there are difficulties in applying these methods in real-world scenarios: (a) questions often require information across different pages or documents, where MLMs cannot handle many long documents; (b) documents often have important information in visual elements such as figures, but text extraction tools ignore them. We introduce M3DocRAG, a novel multi-modal RAG framework that flexibly accommodates various document contexts (closed-domain and open-domain), question hops (single-hop and multi-hop), and evidence modalities (text, chart, figure, etc.). M3DocRAG finds relevant documents and answers questions using a multi-modal retriever and an MLM, so that it can efficiently handle single or many documents while preserving visual information. Since previous DocVQA datasets ask questions in the context of a specific document, we also present M3DocVQA, a new benchmark for evaluating open-domain DocVQA over 3,000+ PDF documents with 40,000+ pages. In three benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA), empirical results show that M3DocRAG with ColPali and Qwen2-VL 7B achieves superior performance than many strong baselines, including state-of-the-art performance in MP-DocVQA. We provide comprehensive analyses of different indexing, MLMs, and retrieval models. Lastly, we qualitatively show that M3DocRAG can successfully handle various scenarios, such as when relevant information exists across multiple pages and when answer evidence only exists in images.