Vereinheitlichung der multimodalen Suche über die Einbettung von Dokumentenscreenshots

Unifying Multimodal Retrieval via Document Screenshot Embedding

June 17, 2024

Autoren: Xueguang Ma, Sheng-Chieh Lin, Minghan Li, Wenhu Chen, Jimmy Lin

cs.AI

Zusammenfassung

In der realen Welt sind Dokumente in verschiedenen Formaten und Modalitäten organisiert. Traditionelle Abrufpipelines erfordern maßgeschneiderte Dokumentenparsings-Techniken und Inhaltsextraktionsmodule, um Eingaben für die Indizierung vorzubereiten. Dieser Prozess ist mühsam, fehleranfällig und führt zu Informationsverlust. Zu diesem Zweck schlagen wir das Dokument-Screenshot-Einbetten (DSE) vor, ein neuartiges Abrufparadigma, das Dokumentenscreenshots als einheitliches Eingabeformat betrachtet, das keine Inhaltsextraktionsvorverarbeitung erfordert und alle Informationen in einem Dokument (z. B. Text, Bild und Layout) bewahrt. DSE nutzt ein großes Vision-Sprach-Modell, um Dokumentenscreenshots direkt in dichte Repräsentationen für den Abruf zu codieren. Zur Bewertung unserer Methode erstellen wir zunächst den Datensatz Wiki-SS, eine Sammlung von 1,3 Millionen Wikipedia-Webseitenscreenshots als Korpus, um Fragen aus dem Natural Questions-Datensatz zu beantworten. In einem textintensiven Dokumentenabrufumfeld zeigt DSE im Vergleich zu anderen auf Parsen basierenden Textabrufmethoden eine wettbewerbsfähige Wirksamkeit. Beispielsweise übertrifft DSE BM25 um 17 Punkte in der Abrufgenauigkeit für die Top-1. Darüber hinaus übertrifft DSE in einer gemischten Modalitätsaufgabe des Folienabrufs signifikant OCR-Textabrufmethoden um über 15 Punkte in nDCG@10. Diese Experimente zeigen, dass DSE ein effektives Dokumentenabrufparadigma für verschiedene Arten von Dokumenten ist. Modell-Checkpoints, Code und die Wiki-SS-Sammlung werden veröffentlicht.

English

In the real world, documents are organized in different formats and varied modalities. Traditional retrieval pipelines require tailored document parsing techniques and content extraction modules to prepare input for indexing. This process is tedious, prone to errors, and has information loss. To this end, we propose Document Screenshot Embedding} (DSE), a novel retrieval paradigm that regards document screenshots as a unified input format, which does not require any content extraction preprocess and preserves all the information in a document (e.g., text, image and layout). DSE leverages a large vision-language model to directly encode document screenshots into dense representations for retrieval. To evaluate our method, we first craft the dataset of Wiki-SS, a 1.3M Wikipedia web page screenshots as the corpus to answer the questions from the Natural Questions dataset. In such a text-intensive document retrieval setting, DSE shows competitive effectiveness compared to other text retrieval methods relying on parsing. For example, DSE outperforms BM25 by 17 points in top-1 retrieval accuracy. Additionally, in a mixed-modality task of slide retrieval, DSE significantly outperforms OCR text retrieval methods by over 15 points in nDCG@10. These experiments show that DSE is an effective document retrieval paradigm for diverse types of documents. Model checkpoints, code, and Wiki-SS collection will be released.