Jina-ColBERT-v2: Ein allgemeiner mehrsprachiger Spätinteraktions-Retriever

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Autoren: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Zusammenfassung

Multi-Vektor-Dichtemodelle wie ColBERT haben sich als äußerst effektiv in der Informationssuche erwiesen. ColBERTs späte Interaktionsbewertung approximiert die gemeinsame Abfrage-Dokument-Aufmerksamkeit, die in Kreuzkodierern zu sehen ist, während sie die Inferenzeffizienz näher an traditionellen dichten Abrufmodellen beibehält, dank seiner Zwei-Kodierer-Architektur und der jüngsten Optimierungen in Indexierung und Suche. In diesem Papier stellen wir mehrere Verbesserungen an der ColBERT-Modellarchitektur und am Schulungspipeline vor, die Techniken nutzen, die im etablierteren Paradigma des Ein-Vektor-Einbettungsmodells erfolgreich sind, insbesondere solche, die für heterogene mehrsprachige Daten geeignet sind. Unser neues Modell, Jina-ColBERT-v2, zeigt eine starke Leistung in einer Reihe von englischen und mehrsprachigen Suchaufgaben und reduziert gleichzeitig den Speicherbedarf um bis zu 50% im Vergleich zu früheren Modellen.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.