MDocAgent: 문서 이해를 위한 다중 모달 다중 에이전트 프레임워크

MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding

March 18, 2025

저자: Siwei Han, Peng Xia, Ruiyi Zhang, Tong Sun, Yun Li, Hongtu Zhu, Huaxiu Yao

cs.AI

초록

문서 질의응답(Document Question Answering, DocQA)은 매우 일반적인 과제입니다. 기존의 대형 언어 모델(Large Language Models, LLMs)이나 대형 시각 언어 모델(Large Vision Language Models, LVLMs) 및 검색 증강 생성(Retrieval Augmented Generation, RAG)을 사용하는 방법들은 종종 단일 모달리티의 정보를 우선시하여 텍스트와 시각적 단서를 효과적으로 통합하지 못합니다. 이러한 접근 방식은 복잡한 다중 모달리티 추론에 어려움을 겪으며, 실제 문서에 대한 성능이 제한됩니다. 우리는 MDocAgent(다중 모달리티 다중 에이전트 문서 이해 프레임워크)를 제안합니다. 이는 텍스트와 이미지를 모두 활용하는 새로운 RAG 및 다중 에이전트 프레임워크입니다. 우리의 시스템은 일반 에이전트, 중요 에이전트, 텍스트 에이전트, 이미지 에이전트 및 요약 에이전트라는 다섯 가지 전문 에이전트를 사용합니다. 이러한 에이전트들은 다중 모달리티 컨텍스트 검색을 수행하며, 각각의 통찰력을 결합하여 문서 내용을 더 포괄적으로 이해합니다. 이 협업적 접근 방식은 텍스트와 시각적 구성 요소 모두에서 정보를 종합할 수 있게 하여 질의응답의 정확도를 향상시킵니다. MMLongBench, LongDocURL과 같은 다섯 가지 벤치마크에 대한 예비 실험은 우리의 MDocAgent의 효과를 입증하며, 현재 최첨단 방법 대비 평균 12.1%의 개선을 달성했습니다. 이 연구는 풍부한 텍스트와 시각적 정보를 포함한 실제 문서의 복잡성을 처리할 수 있는 더 강력하고 포괄적인 DocQA 시스템 개발에 기여합니다. 우리의 데이터와 코드는 https://github.com/aiming-lab/MDocAgent에서 확인할 수 있습니다.

English

Document Question Answering (DocQA) is a very common task. Existing methods using Large Language Models (LLMs) or Large Vision Language Models (LVLMs) and Retrieval Augmented Generation (RAG) often prioritize information from a single modal, failing to effectively integrate textual and visual cues. These approaches struggle with complex multi-modal reasoning, limiting their performance on real-world documents. We present MDocAgent (A Multi-Modal Multi-Agent Framework for Document Understanding), a novel RAG and multi-agent framework that leverages both text and image. Our system employs five specialized agents: a general agent, a critical agent, a text agent, an image agent and a summarizing agent. These agents engage in multi-modal context retrieval, combining their individual insights to achieve a more comprehensive understanding of the document's content. This collaborative approach enables the system to synthesize information from both textual and visual components, leading to improved accuracy in question answering. Preliminary experiments on five benchmarks like MMLongBench, LongDocURL demonstrate the effectiveness of our MDocAgent, achieve an average improvement of 12.1% compared to current state-of-the-art method. This work contributes to the development of more robust and comprehensive DocQA systems capable of handling the complexities of real-world documents containing rich textual and visual information. Our data and code are available at https://github.com/aiming-lab/MDocAgent.