ColPali: Efficiënte Documentretrieval met Vision Language Models
ColPali: Efficient Document Retrieval with Vision Language Models
June 27, 2024
Auteurs: Manuel Faysse, Hugues Sibille, Tony Wu, Gautier Viaud, Céline Hudelot, Pierre Colombo
cs.AI
Samenvatting
Documenten zijn visueel rijke structuren die informatie overbrengen via tekst,
evenals tabellen, figuren, paginalay-outs of lettertypen. Hoewel moderne document-
retrievalsystemen sterke prestaties vertonen bij het matchen van query's met tekst,
hebben ze moeite om visuele aanwijzingen efficiënt te benutten, wat hun prestaties
beperkt bij praktische documentretrievaltoepassingen zoals Retrieval Augmented
Generation. Om huidige systemen te benchmarken op visueel rijke documentretrieval,
introduceren we de Visual Document Retrieval Benchmark ViDoRe, die bestaat uit
verschillende pagina-niveau retrievalthandelingen die meerdere domeinen, talen en
instellingen omvatten. De inherente tekortkomingen van moderne systemen motiveren
de introductie van een nieuw retrievalmodelarchitectuur, ColPali, dat gebruikmaakt
van de documentbegripcapaciteiten van recente Vision Language Models om hoogwaardige
gecontextualiseerde embeddings te produceren uitsluitend vanuit afbeeldingen van
documentpagina's. In combinatie met een late interactie-matchingmechanisme presteert
ColPali aanzienlijk beter dan moderne documentretrievalpijplijnen, terwijl het aanzienlijk
sneller en end-to-end trainbaar is.
English
Documents are visually rich structures that convey information through text,
as well as tables, figures, page layouts, or fonts. While modern document
retrieval systems exhibit strong performance on query-to-text matching, they
struggle to exploit visual cues efficiently, hindering their performance on
practical document retrieval applications such as Retrieval Augmented
Generation. To benchmark current systems on visually rich document retrieval,
we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of
various page-level retrieving tasks spanning multiple domains, languages, and
settings. The inherent shortcomings of modern systems motivate the introduction
of a new retrieval model architecture, ColPali, which leverages the document
understanding capabilities of recent Vision Language Models to produce
high-quality contextualized embeddings solely from images of document pages.
Combined with a late interaction matching mechanism, ColPali largely
outperforms modern document retrieval pipelines while being drastically faster
and end-to-end trainable.