Jina-ColBERT-v2: un Recuperatore Multilingue a Interazione Tardiva di Uso Generale
Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever
August 29, 2024
Autori: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao
cs.AI
Abstract
I modelli densi multi-vettoriali, come ColBERT, hanno dimostrato di essere altamente efficaci nel recupero delle informazioni. Il punteggio di interazione tardiva di ColBERT approssima l'attenzione congiunta query-documento vista nei cross-encoder mantenendo al contempo l'efficienza inferenziale più vicina ai modelli di recupero densi tradizionali, grazie alla sua architettura bi-encoder e alle recenti ottimizzazioni nell'indicizzazione e nella ricerca. In questo articolo, introduciamo diversi miglioramenti all'architettura del modello ColBERT e al processo di addestramento, sfruttando tecniche di successo nel paradigma dei modelli di embedding a singolo vettore più consolidati, in particolare quelli adatti per dati multilingue eterogenei. Il nostro nuovo modello, Jina-ColBERT-v2, dimostra una forte performance in una serie di compiti di recupero in lingua inglese e multilingue, riducendo anche i requisiti di archiviazione fino al 50% rispetto ai modelli precedenti.
English
Multi-vector dense models, such as ColBERT, have proven highly effective in
information retrieval. ColBERT's late interaction scoring approximates the
joint query-document attention seen in cross-encoders while maintaining
inference efficiency closer to traditional dense retrieval models, thanks to
its bi-encoder architecture and recent optimizations in indexing and search. In
this paper, we introduce several improvements to the ColBERT model architecture
and training pipeline, leveraging techniques successful in the more established
single-vector embedding model paradigm, particularly those suited for
heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates
strong performance across a range of English and multilingual retrieval tasks,
while also cutting storage requirements by up to 50% compared to previous
models.