ColPali: Recuperação Eficiente de Documentos com Modelos de Linguagem Visual
ColPali: Efficient Document Retrieval with Vision Language Models
June 27, 2024
Autores: Manuel Faysse, Hugues Sibille, Tony Wu, Gautier Viaud, Céline Hudelot, Pierre Colombo
cs.AI
Resumo
Os documentos são estruturas visualmente ricas que transmitem informações por meio de texto, bem como tabelas, figuras, layouts de página ou fontes. Embora os modernos sistemas de recuperação de documentos demonstrem um desempenho sólido na correspondência de consultas com texto, eles têm dificuldade em explorar eficientemente pistas visuais, o que prejudica seu desempenho em aplicações práticas de recuperação de documentos, como Geração com Recuperação Aprimorada. Para avaliar os sistemas atuais em recuperação de documentos visualmente ricos, apresentamos o Benchmark de Recuperação de Documentos Visuais, ViDoRe, composto por várias tarefas de recuperação em nível de página abrangendo diversos domínios, idiomas e configurações. As deficiências inerentes dos sistemas modernos motivam a introdução de uma nova arquitetura de modelo de recuperação, ColPali, que aproveita as capacidades de compreensão de documentos dos recentes Modelos de Linguagem Visual para produzir embeddings contextualizados de alta qualidade exclusivamente a partir de imagens de páginas de documentos. Combinado com um mecanismo de correspondência de interação tardia, o ColPali supera em grande parte os modernos pipelines de recuperação de documentos, sendo drasticamente mais rápido e totalmente treinável.
English
Documents are visually rich structures that convey information through text,
as well as tables, figures, page layouts, or fonts. While modern document
retrieval systems exhibit strong performance on query-to-text matching, they
struggle to exploit visual cues efficiently, hindering their performance on
practical document retrieval applications such as Retrieval Augmented
Generation. To benchmark current systems on visually rich document retrieval,
we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of
various page-level retrieving tasks spanning multiple domains, languages, and
settings. The inherent shortcomings of modern systems motivate the introduction
of a new retrieval model architecture, ColPali, which leverages the document
understanding capabilities of recent Vision Language Models to produce
high-quality contextualized embeddings solely from images of document pages.
Combined with a late interaction matching mechanism, ColPali largely
outperforms modern document retrieval pipelines while being drastically faster
and end-to-end trainable.