jina-embeddings-v5-text: Aufgabenorientierte Embedding-Destillation
jina-embeddings-v5-text: Task-Targeted Embedding Distillation
February 17, 2026
papers.authors: Mohammad Kalim Akram, Saba Sturua, Nastia Havriushenko, Quentin Herreros, Michael Günther, Maximilian Werk, Han Xiao
cs.AI
papers.abstract
Text-Embedding-Modelle werden häufig für semantische Ähnlichkeitsaufgaben eingesetzt, darunter Informationsretrieval, Clustering und Klassifikation. Allgemeine Modelle werden typischerweise in ein- oder mehrstufigen Prozessen mit kontrastiven Verlustfunktionen trainiert. Wir stellen ein neuartiges Trainingsregime vor, das Modell-Distillationstechniken mit aufgabenspezifischen kontrastiven Verlustfunktionen kombiniert, um kompakte, leistungsstarke Embedding-Modelle zu erzeugen. Unsere Ergebnisse deuten darauf hin, dass dieser Ansatz für das Training kleiner Modelle effektiver ist als rein kontrastive oder ausschließlich auf Distillation basierende Trainingsparadigmen. Die Benchmark-Ergebnisse der resultierenden Modelle jina-embeddings-v5-text-small und jina-embeddings-v5-text-nano übertreffen oder erreichen den State-of-the-Art bei Modellen ähnlicher Größe. Die jina-embeddings-v5-text-Modelle unterstützen zudem lange Texte (bis zu 32.000 Tokens) in vielen Sprachen und erzeugen Embeddings, die bei Trunkierung und binärer Quantisierung robust bleiben. Die Modellgewichte sind öffentlich verfügbar, was hoffentlich weitere Fortschritte in der Entwicklung von Embedding-Modellen inspirieren wird.
English
Text embedding models are widely used for semantic similarity tasks, including information retrieval, clustering, and classification. General-purpose models are typically trained with single- or multi-stage processes using contrastive loss functions. We introduce a novel training regimen that combines model distillation techniques with task-specific contrastive loss to produce compact, high-performance embedding models. Our findings suggest that this approach is more effective for training small models than purely contrastive or distillation-based training paradigms alone. Benchmark scores for the resulting models, jina-embeddings-v5-text-small and jina-embeddings-v5-text-nano, exceed or match the state-of-the-art for models of similar size. jina-embeddings-v5-text models additionally support long texts (up to 32k tokens) in many languages, and generate embeddings that remain robust under truncation and binary quantization. Model weights are publicly available, hopefully inspiring further advances in embedding model development.