Jina-ColBERT-v2: 一般用途の多言語遅い相互作用リトリーバ

Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

August 29, 2024

著者: Rohan Jha, Bo Wang, Michael Günther, Saba Sturua, Mohammad Kalim Akram, Han Xiao

cs.AI

要旨

ColBERTなどのマルチベクトル密モデルは、情報検索において非常に効果的であることが証明されています。ColBERTの後段インタラクションスコアリングは、バイエンコーダーアーキテクチャと最近のインデックス付けや検索の最適化により、クロスエンコーダーで見られる共同クエリ-ドキュメントアテンションを近似しつつ、従来の密検索モデルに近い推論効率を維持しています。本論文では、ColBERTモデルアーキテクチャとトレーニングパイプラインにいくつかの改良を導入し、特に異種多言語データに適した、より確立されたシングルベクトル埋め込みモデルパラダイムで成功している技術を活用しています。当社の新しいモデル、Jina-ColBERT-v2は、英語および多言語の検索タスク全般で強力なパフォーマンスを示し、以前のモデルと比較して最大50％のストレージ要件を削減しています。

English

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT's late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.