Jina-ColBERT-v2: Een Algemeen Toepasbare Multilingual Late Interaction Retriever

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Auteurs: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Samenvatting

Multi-vector dense modellen, zoals ColBERT, hebben zich zeer effectief bewezen in informatie retrieval. ColBERT's late interaction scoring benadert de gezamenlijke query-document aandacht die wordt gezien in cross-encoders, terwijl het de inferentie-efficiëntie behoudt die dichter ligt bij traditionele dense retrieval modellen, dankzij zijn bi-encoder architectuur en recente optimalisaties in indexering en zoeken. In dit artikel introduceren we verschillende verbeteringen aan de ColBERT modelarchitectuur en trainingspipeline, waarbij we gebruikmaken van technieken die succesvol zijn gebleken in het meer gevestigde single-vector embedding model paradigma, met name die geschikt zijn voor heterogene meertalige data. Ons nieuwe model, Jina-ColBERT-v2, toont sterke prestaties over een reeks Engelse en meertalige retrieval taken, terwijl het ook de opslagvereisten met tot wel 50% vermindert in vergelijking met eerdere modellen.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.