ColPali: Recuperación Eficiente de Documentos con Modelos de Lenguaje Visual

ColPali: Efficient Document Retrieval with Vision Language Models

June 27, 2024

Autores: Manuel Faysse, Hugues Sibille, Tony Wu, Gautier Viaud, Céline Hudelot, Pierre Colombo

cs.AI

Resumen

Los documentos son estructuras visualmente ricas que transmiten información a través de texto, así como de tablas, figuras, diseños de página o tipografías. Si bien los sistemas modernos de recuperación de documentos muestran un rendimiento sólido en la coincidencia de consultas con texto, tienen dificultades para aprovechar eficientemente las señales visuales, lo que limita su desempeño en aplicaciones prácticas de recuperación de documentos, como la Generación Aumentada por Recuperación. Para evaluar los sistemas actuales en la recuperación de documentos visualmente ricos, presentamos el Benchmark de Recuperación de Documentos Visuales ViDoRe, compuesto por diversas tareas de recuperación a nivel de página que abarcan múltiples dominios, idiomas y configuraciones. Las limitaciones inherentes de los sistemas modernos motivan la introducción de una nueva arquitectura de modelo de recuperación, ColPali, que aprovecha las capacidades de comprensión de documentos de los modelos de lenguaje visual recientes para generar incrustaciones contextualizadas de alta calidad únicamente a partir de imágenes de páginas de documentos. Combinado con un mecanismo de coincidencia de interacción tardía, ColPali supera ampliamente las canalizaciones modernas de recuperación de documentos, siendo significativamente más rápido y entrenable de extremo a extremo.

English

Documents are visually rich structures that convey information through text, as well as tables, figures, page layouts, or fonts. While modern document retrieval systems exhibit strong performance on query-to-text matching, they struggle to exploit visual cues efficiently, hindering their performance on practical document retrieval applications such as Retrieval Augmented Generation. To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieving tasks spanning multiple domains, languages, and settings. The inherent shortcomings of modern systems motivate the introduction of a new retrieval model architecture, ColPali, which leverages the document understanding capabilities of recent Vision Language Models to produce high-quality contextualized embeddings solely from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically faster and end-to-end trainable.