MDocAgent: Мультимодальная мультиагентная система для анализа документов

MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding

March 18, 2025

Авторы: Siwei Han, Peng Xia, Ruiyi Zhang, Tong Sun, Yun Li, Hongtu Zhu, Huaxiu Yao

cs.AI

Аннотация

Ответы на вопросы по документам (Document Question Answering, DocQA) — это весьма распространенная задача. Существующие методы, использующие большие языковые модели (Large Language Models, LLMs) или большие мультимодальные модели (Large Vision Language Models, LVLMs) в сочетании с генерацией, усиленной поиском (Retrieval Augmented Generation, RAG), часто отдают приоритет информации из одного модального источника, неэффективно интегрируя текстовые и визуальные подсказки. Эти подходы испытывают трудности со сложным мультимодальным рассуждением, что ограничивает их производительность на реальных документах. Мы представляем MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding) — новую RAG и мультиагентную структуру, которая использует как текст, так и изображения. Наша система включает пять специализированных агентов: общий агент, критический агент, текстовый агент, визуальный агент и агент для суммирования. Эти агенты участвуют в мультимодальном извлечении контекста, объединяя свои индивидуальные выводы для достижения более полного понимания содержания документа. Такой совместный подход позволяет системе синтезировать информацию как из текстовых, так и из визуальных компонентов, что приводит к повышению точности ответов на вопросы. Предварительные эксперименты на пяти тестовых наборах, таких как MMLongBench и LongDocURL, демонстрируют эффективность нашего MDocAgent, показывая среднее улучшение на 12,1% по сравнению с современными методами. Эта работа способствует разработке более надежных и всесторонних систем DocQA, способных справляться со сложностями реальных документов, содержащих богатую текстовую и визуальную информацию. Наши данные и код доступны по адресу https://github.com/aiming-lab/MDocAgent.

English

Document Question Answering (DocQA) is a very common task. Existing methods using Large Language Models (LLMs) or Large Vision Language Models (LVLMs) and Retrieval Augmented Generation (RAG) often prioritize information from a single modal, failing to effectively integrate textual and visual cues. These approaches struggle with complex multi-modal reasoning, limiting their performance on real-world documents. We present MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding), a novel RAG and multi-agent framework that leverages both text and image. Our system employs five specialized agents: a general agent, a critical agent, a text agent, an image agent and a summarizing agent. These agents engage in multi-modal context retrieval, combining their individual insights to achieve a more comprehensive understanding of the document's content. This collaborative approach enables the system to synthesize information from both textual and visual components, leading to improved accuracy in question answering. Preliminary experiments on five benchmarks like MMLongBench, LongDocURL demonstrate the effectiveness of our MDocAgent, achieve an average improvement of 12.1% compared to current state-of-the-art method. This work contributes to the development of more robust and comprehensive DocQA systems capable of handling the complexities of real-world documents containing rich textual and visual information. Our data and code are available at https://github.com/aiming-lab/MDocAgent.