Unificatie van multimodale retrievals via document screenshot-embedding

Unifying Multimodal Retrieval via Document Screenshot Embedding

June 17, 2024

Auteurs: Xueguang Ma, Sheng-Chieh Lin, Minghan Li, Wenhu Chen, Jimmy Lin

cs.AI

Samenvatting

In de echte wereld zijn documenten georganiseerd in verschillende formaten en modaliteiten. Traditionele retrievalsystemen vereisen op maat gemaakte documentparsingtechnieken en inhoudsextractiemodules om invoer voor indexering voor te bereiden. Dit proces is tijdrovend, foutgevoelig en gaat gepaard met informatieverlies. Daarom stellen we Document Screenshot Embedding (DSE) voor, een nieuw retrievalparadigma dat documentschermafbeeldingen beschouwt als een uniform invoerformaat, waarvoor geen inhoudsextractiepreprocessing nodig is en dat alle informatie in een document behoudt (bijv. tekst, afbeeldingen en lay-out). DSE maakt gebruik van een groot vision-languagemodel om documentschermafbeeldingen direct te coderen in dichte representaties voor retrieval. Om onze methode te evalueren, hebben we eerst de dataset Wiki-SS samengesteld, een corpus van 1,3 miljoen schermafbeeldingen van Wikipedia-webpagina's, om vragen uit de Natural Questions-dataset te beantwoorden. In zo'n tekstintensieve documentretrievalomgeving toont DSE een competitieve effectiviteit in vergelijking met andere tekstretrievalmethoden die afhankelijk zijn van parsing. DSE overtreft bijvoorbeeld BM25 met 17 punten in top-1 retrievalnauwkeurigheid. Daarnaast presteert DSE in een gemengde modaliteitstaak van dia-retrieval aanzienlijk beter dan OCR-tekstretrievalmethoden, met meer dan 15 punten in nDCG@10. Deze experimenten tonen aan dat DSE een effectief documentretrievalparadigma is voor diverse soorten documenten. Modelcheckpoints, code en de Wiki-SS-collectie zullen worden vrijgegeven.

English

In the real world, documents are organized in different formats and varied modalities. Traditional retrieval pipelines require tailored document parsing techniques and content extraction modules to prepare input for indexing. This process is tedious, prone to errors, and has information loss. To this end, we propose Document Screenshot Embedding} (DSE), a novel retrieval paradigm that regards document screenshots as a unified input format, which does not require any content extraction preprocess and preserves all the information in a document (e.g., text, image and layout). DSE leverages a large vision-language model to directly encode document screenshots into dense representations for retrieval. To evaluate our method, we first craft the dataset of Wiki-SS, a 1.3M Wikipedia web page screenshots as the corpus to answer the questions from the Natural Questions dataset. In such a text-intensive document retrieval setting, DSE shows competitive effectiveness compared to other text retrieval methods relying on parsing. For example, DSE outperforms BM25 by 17 points in top-1 retrieval accuracy. Additionally, in a mixed-modality task of slide retrieval, DSE significantly outperforms OCR text retrieval methods by over 15 points in nDCG@10. These experiments show that DSE is an effective document retrieval paradigm for diverse types of documents. Model checkpoints, code, and Wiki-SS collection will be released.