MMDocIR: Сравнение производительности мульти-модального поиска для длинных документов

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

Авторы: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

Аннотация

Многомодальный поиск документов разработан для идентификации и извлечения различных форм многомодального контента, таких как фигуры, таблицы, графики и информация о макете из обширных документов. Несмотря на его важность, отмечается значительное отсутствие надежного эталонного показателя для эффективной оценки производительности систем в многомодальном поиске документов. Для заполнения этого пробела данная работа представляет новый эталон, названный MMDocIR, включающий две различные задачи: поиск на уровне страницы и на уровне макета. Первая задача направлена на локализацию наиболее релевантных страниц в длинном документе, в то время как вторая целится на обнаружение конкретных макетов, предлагая более детальную гранулярность, чем анализ всей страницы. Макет может относиться к различным элементам, таким как текстовые абзацы, уравнения, фигуры, таблицы или графики. Эталон MMDocIR включает обширный набор данных с экспертно размеченными метками для 1 685 вопросов и самостоятельно созданными метками для 173 843 вопросов, что делает его ключевым ресурсом для продвижения многомодального поиска документов как для обучения, так и для оценки. Через строгие эксперименты мы показываем, что (i) визуальные поисковики значительно превосходят своих текстовых аналогов, (ii) набор данных MMDocIR может эффективно способствовать процессу обучения многомодального поиска документов и (iii) текстовые поисковики, использующие VLM-текст, работают намного лучше, чем те, которые используют OCR-текст. Эти результаты подчеркивают потенциальные преимущества интеграции визуальных элементов для многомодального поиска документов.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.