MMDocIR: Evaluación comparativa de la recuperación multi-modal para documentos extensos

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

Autores: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

Resumen

La recuperación de documentos multimodales está diseñada para identificar y recuperar diversos tipos de contenido multimodal, como figuras, tablas, gráficos e información de diseño de extensos documentos. A pesar de su importancia, existe una notable falta de un banco de pruebas sólido para evaluar eficazmente el rendimiento de los sistemas en la recuperación de documentos multimodales. Para abordar esta brecha, este trabajo presenta un nuevo banco de pruebas, denominado MMDocIR, que abarca dos tareas distintas: recuperación a nivel de página y a nivel de diseño. La primera se centra en localizar las páginas más relevantes dentro de un documento largo, mientras que la segunda se enfoca en la detección de diseños específicos, ofreciendo una granularidad más detallada que el análisis de página completa. Un diseño puede hacer referencia a una variedad de elementos como párrafos de texto, ecuaciones, figuras, tablas o gráficos. El banco de pruebas MMDocIR consta de un conjunto de datos rico que incluye etiquetas anotadas por expertos para 1,685 preguntas y etiquetas generadas automáticamente para 173,843 preguntas, convirtiéndolo en un recurso fundamental para avanzar en la recuperación de documentos multimodales tanto para entrenamiento como para evaluación. A través de experimentos rigurosos, revelamos que (i) los recuperadores visuales superan significativamente a sus contrapartes de texto, (ii) el conjunto de entrenamiento de MMDocIR puede beneficiar eficazmente el proceso de entrenamiento de recuperación de documentos multimodales y (iii) los recuperadores de texto que utilizan VLM-text tienen un rendimiento mucho mejor que aquellos que utilizan OCR-text. Estos hallazgos subrayan las ventajas potenciales de integrar elementos visuales para la recuperación de documentos multimodales.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.