MMDocIR : Évaluation comparative de la recherche multi-modale pour les documents longs

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

Auteurs: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

Résumé

La recherche de documents multi-modaux est conçue pour identifier et extraire diverses formes de contenu multi-modal, tels que des figures, des tableaux, des graphiques et des informations de mise en page à partir de documents étendus. Malgré son importance, il existe un manque notable d'un banc d'essai robuste pour évaluer efficacement les performances des systèmes en matière de recherche de documents multi-modaux. Pour combler cette lacune, ce travail présente un nouveau banc d'essai, nommé MMDocIR, comprenant deux tâches distinctes : la recherche au niveau de la page et la recherche au niveau de la mise en page. La première se concentre sur la localisation des pages les plus pertinentes au sein d'un long document, tandis que la seconde vise la détection de mises en page spécifiques, offrant une granularité plus fine que l'analyse de la page entière. Une mise en page peut faire référence à divers éléments tels que des paragraphes textuels, des équations, des figures, des tableaux ou des graphiques. Le banc d'essai MMDocIR comprend un ensemble de données riche comprenant des étiquettes annotées par des experts pour 1 685 questions et des étiquettes bootstrap pour 173 843 questions, en faisant une ressource essentielle pour faire progresser la recherche de documents multi-modaux à la fois pour la formation et l'évaluation. À travers des expériences rigoureuses, nous révélons que (i) les récupérateurs visuels surpassent significativement leurs homologues textuels, (ii) l'ensemble d'entraînement MMDocIR peut bénéficier efficacement du processus de formation de la recherche de documents multi-modaux et (iii) les récupérateurs de texte exploitant le VLM-text performant bien mieux que ceux utilisant l'OCR-text. Ces conclusions soulignent les avantages potentiels de l'intégration d'éléments visuels pour la recherche de documents multi-modaux.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.