Jina-ColBERT-v2: Общецелевой многоязычный ретриевер с поздним взаимодействием

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

Авторы: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

Аннотация

Модели с плотными многовекторными представлениями, такие как ColBERT, доказали свою высокую эффективность в информационном поиске. Оценка позднего взаимодействия ColBERT приближается к совместному вниманию запроса-документа, наблюдаемому в кросс-энкодерах, сохраняя при этом эффективность вывода, близкую к традиционным моделям плотного поиска, благодаря своей би-энкодерной архитектуре и недавним оптимизациям в индексации и поиске. В данной статье мы представляем несколько улучшений в архитектуре модели ColBERT и процессе обучения, используя успешные техники в более устоявшейся парадигме модели встраивания с одним вектором, особенно подходящие для гетерогенных мультиязычных данных. Наша новая модель, Jina-ColBERT-v2, демонстрирует высокую производительность в широком спектре задач поиска на английском и мультиязычных данных, снижая требования к хранению до 50% по сравнению с предыдущими моделями.

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.