Jina-ColBERT-v2: Um Recuperador de Interação Tardia Multilíngue de Uso Geral

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Autores: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Resumo

Modelos densos multivetoriais, como o ColBERT, têm se mostrado altamente eficazes em recuperação de informações. A pontuação de interação tardia do ColBERT aproxima-se da atenção conjunta entre consulta e documento vista em codificadores cruzados, mantendo a eficiência de inferência mais próxima de modelos tradicionais de recuperação densa, graças à sua arquitetura de biencoders e otimizações recentes em indexação e busca. Neste artigo, introduzimos várias melhorias na arquitetura do modelo ColBERT e no pipeline de treinamento, aproveitando técnicas bem-sucedidas no paradigma de modelos de incorporação de vetor único mais estabelecido, especialmente aquelas adequadas para dados multilíngues heterogêneos. Nosso novo modelo, Jina-ColBERT-v2, demonstra um desempenho sólido em uma variedade de tarefas de recuperação em inglês e multilíngues, reduzindo também os requisitos de armazenamento em até 50% em comparação com modelos anteriores.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.