Объединение мультимодального поиска с помощью встраивания снимка документа.

Unifying Multimodal Retrieval via Document Screenshot Embedding

June 17, 2024

Авторы: Xueguang Ma, Sheng-Chieh Lin, Minghan Li, Wenhu Chen, Jimmy Lin

cs.AI

Аннотация

В реальном мире документы организованы в различных форматах и разнообразных модальностях. Традиционные конвейеры поиска требуют настроенных техник разбора документов и модулей извлечения контента для подготовки ввода для индексации. Этот процесс трудоемок, подвержен ошибкам и приводит к потере информации. В этой связи мы предлагаем встраивание скриншотов документов (Document Screenshot Embedding, DSE) - новую парадигму поиска, которая рассматривает скриншоты документов как унифицированный формат ввода, не требующий предварительной обработки извлечения контента и сохраняющий всю информацию в документе (например, текст, изображение и макет). DSE использует большую модель видео-языка для прямого кодирования скриншотов документов в плотные представления для поиска. Для оценки нашего метода мы сначала создаем набор данных Wiki-SS, содержащий 1,3 млн скриншотов веб-страниц Википедии в качестве корпуса для ответов на вопросы из набора данных Natural Questions. В такой среде поиска документов, насыщенных текстом, DSE показывает конкурентоспособную эффективность по сравнению с другими методами поиска текста, основанными на разборе. Например, DSE превосходит BM25 на 17 пунктов по точности поиска в верхних 1 результатах. Кроме того, в задаче поиска слайдов смешанной модальности DSE значительно превосходит методы поиска текста с помощью OCR более чем на 15 пунктов по nDCG@10. Эти эксперименты показывают, что DSE является эффективной парадигмой поиска документов для различных типов документов. Модельные точки, код и коллекция Wiki-SS будут опубликованы.

English

In the real world, documents are organized in different formats and varied modalities. Traditional retrieval pipelines require tailored document parsing techniques and content extraction modules to prepare input for indexing. This process is tedious, prone to errors, and has information loss. To this end, we propose Document Screenshot Embedding} (DSE), a novel retrieval paradigm that regards document screenshots as a unified input format, which does not require any content extraction preprocess and preserves all the information in a document (e.g., text, image and layout). DSE leverages a large vision-language model to directly encode document screenshots into dense representations for retrieval. To evaluate our method, we first craft the dataset of Wiki-SS, a 1.3M Wikipedia web page screenshots as the corpus to answer the questions from the Natural Questions dataset. In such a text-intensive document retrieval setting, DSE shows competitive effectiveness compared to other text retrieval methods relying on parsing. For example, DSE outperforms BM25 by 17 points in top-1 retrieval accuracy. Additionally, in a mixed-modality task of slide retrieval, DSE significantly outperforms OCR text retrieval methods by over 15 points in nDCG@10. These experiments show that DSE is an effective document retrieval paradigm for diverse types of documents. Model checkpoints, code, and Wiki-SS collection will be released.