MMDocIR: 장문을 위한 다중 모달 검색의 벤치마킹

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

저자: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

초록

다중 모달 문서 검색은 다양한 형태의 다중 모달 콘텐츠, 예를 들면 그림, 표, 차트 및 레이아웃 정보를 광범위한 문서에서 식별하고 검색하는 데 사용됩니다. 그 중요성에도 불구하고, 다중 모달 문서 검색 시스템의 성능을 효과적으로 평가하기 위한 견고한 벤치마크가 부족한 것이 두드러집니다. 이 간극을 해결하기 위해 본 연구는 MMDocIR이라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 페이지 수준 및 레이아웃 수준 검색이라는 두 가지 다른 작업을 포함합니다. 전자는 긴 문서 내에서 가장 관련성 높은 페이지를 지역화하는 데 초점을 맞추고, 후자는 특정 레이아웃을 감지하여 전체 페이지 분석보다 더 세분화된 정밀도를 제공합니다. 레이아웃은 텍스트 단락, 방정식, 그림, 표 또는 차트와 같은 다양한 요소를 가리킬 수 있습니다. MMDocIR 벤치마크는 전문가가 주석을 단 1,685개 질문과 173,843개 질문에 대한 부트스트랩 레이블을 특징으로 하는 풍부한 데이터셋으로, 다중 모달 문서 검색의 교육 및 평가를 위한 중요한 자원으로 작용합니다. 엄격한 실험을 통해 우리는 (i) 시각적 검색기가 텍스트 대안보다 현저히 우수한 성과를 거두는 것을 밝혀내고, (ii) MMDocIR 훈련 세트가 다중 모달 문서 검색의 훈련 과정에 효과적으로 도움이 되며, (iii) VLM-텍스트를 활용하는 텍스트 검색기가 OCR-텍스트를 사용하는 것보다 훨씬 더 나은 성과를 보인다는 것을 보여줍니다. 이러한 결과는 시각적 요소를 통합하여 다중 모달 문서 검색의 잠재적 이점을 강조합니다.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.