MDocAgent: Een Multi-Modale Multi-Agent Framework voor Documentbegrip

MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding

March 18, 2025

Auteurs: Siwei Han, Peng Xia, Ruiyi Zhang, Tong Sun, Yun Li, Hongtu Zhu, Huaxiu Yao

cs.AI

Samenvatting

Document Question Answering (DocQA) is een veelvoorkomende taak. Bestaande methoden die gebruikmaken van Large Language Models (LLMs), Large Vision Language Models (LVLMs) en Retrieval Augmented Generation (RAG) richten zich vaak op informatie uit één enkele modaliteit, waardoor ze tekstuele en visuele signalen niet effectief integreren. Deze benaderingen hebben moeite met complexe multimodale redenering, wat hun prestaties op echte documenten beperkt. Wij presenteren MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding), een nieuw RAG- en multi-agent framework dat zowel tekst als afbeeldingen benut. Ons systeem maakt gebruik van vijf gespecialiseerde agents: een algemene agent, een kritische agent, een tekstagent, een beeldagent en een samenvattende agent. Deze agents werken samen aan multimodale contextretrieval, waarbij ze hun individuele inzichten combineren om een uitgebreider begrip van de inhoud van het document te bereiken. Deze collaboratieve aanpak stelt het systeem in staat om informatie uit zowel tekstuele als visuele componenten te synthetiseren, wat leidt tot een verbeterde nauwkeurigheid bij het beantwoorden van vragen. Voorlopige experimenten op vijf benchmarks zoals MMLongBench en LongDocURL tonen de effectiviteit van onze MDocAgent aan, met een gemiddelde verbetering van 12,1% ten opzichte van de huidige state-of-the-art methode. Dit werk draagt bij aan de ontwikkeling van robuustere en uitgebreidere DocQA-systemen die in staat zijn om de complexiteiten van echte documenten met rijke tekstuele en visuele informatie te verwerken. Onze data en code zijn beschikbaar op https://github.com/aiming-lab/MDocAgent.

English

Document Question Answering (DocQA) is a very common task. Existing methods using Large Language Models (LLMs) or Large Vision Language Models (LVLMs) and Retrieval Augmented Generation (RAG) often prioritize information from a single modal, failing to effectively integrate textual and visual cues. These approaches struggle with complex multi-modal reasoning, limiting their performance on real-world documents. We present MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding), a novel RAG and multi-agent framework that leverages both text and image. Our system employs five specialized agents: a general agent, a critical agent, a text agent, an image agent and a summarizing agent. These agents engage in multi-modal context retrieval, combining their individual insights to achieve a more comprehensive understanding of the document's content. This collaborative approach enables the system to synthesize information from both textual and visual components, leading to improved accuracy in question answering. Preliminary experiments on five benchmarks like MMLongBench, LongDocURL demonstrate the effectiveness of our MDocAgent, achieve an average improvement of 12.1% compared to current state-of-the-art method. This work contributes to the development of more robust and comprehensive DocQA systems capable of handling the complexities of real-world documents containing rich textual and visual information. Our data and code are available at https://github.com/aiming-lab/MDocAgent.