MDocAgent : Un cadre multi-agent et multimodal pour la compréhension de documents

MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding

March 18, 2025

Auteurs: Siwei Han, Peng Xia, Ruiyi Zhang, Tong Sun, Yun Li, Hongtu Zhu, Huaxiu Yao

cs.AI

Résumé

Le Question-Réponse sur Documents (DocQA) est une tâche très courante. Les méthodes existantes utilisant des Modèles de Langage à Grande Échelle (LLMs) ou des Modèles de Langage et Vision à Grande Échelle (LVLMs) ainsi que la Génération Augmentée par Récupération (RAG) privilégient souvent l'information provenant d'une seule modalité, échouant à intégrer efficacement les indices textuels et visuels. Ces approches peinent à effectuer un raisonnement multi-modal complexe, limitant ainsi leurs performances sur des documents du monde réel. Nous présentons MDocAgent (Un Cadre Multi-Modal et Multi-Agent pour la Compréhension de Documents), un nouveau cadre RAG et multi-agent qui exploite à la fois le texte et l'image. Notre système emploie cinq agents spécialisés : un agent général, un agent critique, un agent texte, un agent image et un agent de synthèse. Ces agents s'engagent dans une récupération de contexte multi-modale, combinant leurs insights individuels pour parvenir à une compréhension plus complète du contenu du document. Cette approche collaborative permet au système de synthétiser l'information provenant à la fois des composants textuels et visuels, conduisant à une amélioration de la précision dans les réponses aux questions. Les expériences préliminaires sur cinq benchmarks comme MMLongBench et LongDocURL démontrent l'efficacité de notre MDocAgent, avec une amélioration moyenne de 12,1 % par rapport aux méthodes actuelles de pointe. Ce travail contribue au développement de systèmes DocQA plus robustes et complets, capables de gérer les complexités des documents du monde réel contenant des informations textuelles et visuelles riches. Nos données et code sont disponibles à l'adresse https://github.com/aiming-lab/MDocAgent.

English

Document Question Answering (DocQA) is a very common task. Existing methods using Large Language Models (LLMs) or Large Vision Language Models (LVLMs) and Retrieval Augmented Generation (RAG) often prioritize information from a single modal, failing to effectively integrate textual and visual cues. These approaches struggle with complex multi-modal reasoning, limiting their performance on real-world documents. We present MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding), a novel RAG and multi-agent framework that leverages both text and image. Our system employs five specialized agents: a general agent, a critical agent, a text agent, an image agent and a summarizing agent. These agents engage in multi-modal context retrieval, combining their individual insights to achieve a more comprehensive understanding of the document's content. This collaborative approach enables the system to synthesize information from both textual and visual components, leading to improved accuracy in question answering. Preliminary experiments on five benchmarks like MMLongBench, LongDocURL demonstrate the effectiveness of our MDocAgent, achieve an average improvement of 12.1% compared to current state-of-the-art method. This work contributes to the development of more robust and comprehensive DocQA systems capable of handling the complexities of real-world documents containing rich textual and visual information. Our data and code are available at https://github.com/aiming-lab/MDocAgent.