jina-embeddings-v5-text: タスク指向埋め込み蒸留

要旨

テキスト埋め込みモデルは、情報検索、クラスタリング、分類などの意味的類似性タスクに広く利用されている。汎用モデルは通常、対照損失関数を用いた単段階または多段階のプロセスで学習される。本研究では、モデル蒸留技術とタスク特化的な対照損失を組み合わせた新しい学習手法を提案し、コンパクトで高性能な埋め込みモデルを生成する。このアプローチが、対照学習または蒸留のみの学習パラダイムよりも、小規模モデルの学習において効果的であることを示唆する。開発したモデル「jina-embeddings-v5-text-small」および「jina-embeddings-v5-text-nano」のベンチマークスコアは、同規模のモデルにおける最先端性能を上回るか同等である。jina-embeddings-v5-textモデルシリーズはさらに、多数の言語における長文（最大32kトークン）に対応し、切り詰めや二値量子化下でも頑健な埋め込みを生成する。モデル重みは公開されており、埋め込みモデル開発のさらなる進展に貢献することが期待される。

English

Text embedding models are widely used for semantic similarity tasks, including information retrieval, clustering, and classification. General-purpose models are typically trained with single- or multi-stage processes using contrastive loss functions. We introduce a novel training regimen that combines model distillation techniques with task-specific contrastive loss to produce compact, high-performance embedding models. Our findings suggest that this approach is more effective for training small models than purely contrastive or distillation-based training paradigms alone. Benchmark scores for the resulting models, jina-embeddings-v5-text-small and jina-embeddings-v5-text-nano, exceed or match the state-of-the-art for models of similar size. jina-embeddings-v5-text models additionally support long texts (up to 32k tokens) in many languages, and generate embeddings that remain robust under truncation and binary quantization. Model weights are publicly available, hopefully inspiring further advances in embedding model development.

jina-embeddings-v5-text: タスク指向埋め込み蒸留

jina-embeddings-v5-text: Task-Targeted Embedding Distillation

要旨

Support