Jina-ColBERT-v2 : Un récupérateur multilingue à interaction tardive polyvalent

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Auteurs: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Résumé

Les modèles denses multi-vecteurs, tels que ColBERT, se sont avérés très efficaces en matière de recherche d'informations. Le calcul tardif du score d'interaction de ColBERT approxime l'attention conjointe requête-document observée dans les encodeurs croisés tout en maintenant une efficacité d'inférence plus proche des modèles de recherche denses traditionnels, grâce à son architecture bi-encodeur et aux récentes optimisations en matière d'indexation et de recherche. Dans cet article, nous introduisons plusieurs améliorations à l'architecture du modèle ColBERT et au processus de formation, en exploitant des techniques ayant fait leurs preuves dans le paradigme des modèles d'incorporation à vecteur unique plus établis, en particulier celles adaptées aux données multilingues hétérogènes. Notre nouveau modèle, Jina-ColBERT-v2, démontre de solides performances dans une gamme de tâches de recherche en anglais et multilingues, tout en réduisant les besoins de stockage jusqu'à 50 % par rapport aux modèles précédents.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.