Unification de la recherche multimodale via l'incorporation de captures d'écran de documents

Unifying Multimodal Retrieval via Document Screenshot Embedding

June 17, 2024

papers.authors: Xueguang Ma, Sheng-Chieh Lin, Minghan Li, Wenhu Chen, Jimmy Lin

cs.AI

papers.abstract

Dans le monde réel, les documents sont organisés dans différents formats et selon diverses modalités. Les pipelines de recherche traditionnels nécessitent des techniques d'analyse de documents sur mesure et des modules d'extraction de contenu pour préparer les entrées à l'indexation. Ce processus est fastidieux, sujet à des erreurs et entraîne une perte d'information. À cette fin, nous proposons Document Screenshot Embedding (DSE), un nouveau paradigme de recherche qui considère les captures d'écran de documents comme un format d'entrée unifié, ne nécessitant aucun prétraitement d'extraction de contenu et préservant toutes les informations d'un document (par exemple, texte, image et mise en page). DSE exploite un grand modèle vision-langage pour encoder directement les captures d'écran de documents en représentations denses pour la recherche. Pour évaluer notre méthode, nous avons d'abord créé le jeu de données Wiki-SS, un corpus de 1,3 million de captures d'écran de pages web Wikipédia, pour répondre aux questions du jeu de données Natural Questions. Dans un tel contexte de recherche de documents intensifs en texte, DSE montre une efficacité compétitive par rapport à d'autres méthodes de recherche textuelle reposant sur l'analyse. Par exemple, DSE surpasse BM25 de 17 points en précision de recherche top-1. De plus, dans une tâche de recherche de diapositives à modalités mixtes, DSE surpasse significativement les méthodes de recherche textuelle OCR de plus de 15 points en nDCG@10. Ces expériences montrent que DSE est un paradigme de recherche de documents efficace pour divers types de documents. Les points de contrôle du modèle, le code et la collection Wiki-SS seront publiés.

English

In the real world, documents are organized in different formats and varied modalities. Traditional retrieval pipelines require tailored document parsing techniques and content extraction modules to prepare input for indexing. This process is tedious, prone to errors, and has information loss. To this end, we propose Document Screenshot Embedding} (DSE), a novel retrieval paradigm that regards document screenshots as a unified input format, which does not require any content extraction preprocess and preserves all the information in a document (e.g., text, image and layout). DSE leverages a large vision-language model to directly encode document screenshots into dense representations for retrieval. To evaluate our method, we first craft the dataset of Wiki-SS, a 1.3M Wikipedia web page screenshots as the corpus to answer the questions from the Natural Questions dataset. In such a text-intensive document retrieval setting, DSE shows competitive effectiveness compared to other text retrieval methods relying on parsing. For example, DSE outperforms BM25 by 17 points in top-1 retrieval accuracy. Additionally, in a mixed-modality task of slide retrieval, DSE significantly outperforms OCR text retrieval methods by over 15 points in nDCG@10. These experiments show that DSE is an effective document retrieval paradigm for diverse types of documents. Model checkpoints, code, and Wiki-SS collection will be released.