Jina-ColBERT-v2: Un Recuperador Multilingüe de Interacción Tardía de Propósito General

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Autores: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Resumen

Los modelos densos multi-vectoriales, como ColBERT, han demostrado ser altamente efectivos en la recuperación de información. El sistema de puntuación de interacción tardía de ColBERT aproxima la atención conjunta entre consultas y documentos vista en los codificadores cruzados, al tiempo que mantiene una eficiencia de inferencia más cercana a los modelos tradicionales de recuperación densa, gracias a su arquitectura de bi-codificador y a las optimizaciones recientes en indexación y búsqueda. En este artículo, presentamos varias mejoras a la arquitectura del modelo ColBERT y al proceso de entrenamiento, aprovechando técnicas exitosas en el paradigma de modelos de incrustación de un solo vector más establecidos, especialmente aquellas adecuadas para datos multilingües heterogéneos. Nuestro nuevo modelo, Jina-ColBERT-v2, demuestra un rendimiento sólido en una variedad de tareas de recuperación en inglés y multilingües, al tiempo que reduce los requisitos de almacenamiento hasta en un 50% en comparación con modelos anteriores.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.