jina-embeddings-v5-text: Destilação de Embeddings Orientada por Tarefas
jina-embeddings-v5-text: Task-Targeted Embedding Distillation
February 17, 2026
Autores: Mohammad Kalim Akram, Saba Sturua, Nastia Havriushenko, Quentin Herreros, Michael Günther, Maximilian Werk, Han Xiao
cs.AI
Resumo
Os modelos de incorporação de texto são amplamente utilizados para tarefas de similaridade semântica, incluindo recuperação de informação, agrupamento e classificação. Modelos de propósito geral são normalmente treinados com processos de estágio único ou múltiplos usando funções de perda contrastiva. Introduzimos um novo regime de treinamento que combina técnicas de destilação de modelos com perda contrastiva específica da tarefa para produzir modelos de incorporação compactos e de alto desempenho. Nossos achados sugerem que esta abordagem é mais eficaz para treinar modelos pequenos do que os paradigmas de treinamento puramente contrastivos ou baseados em destilação isoladamente. As pontuações de benchmark dos modelos resultantes, jina-embeddings-v5-text-small e jina-embeddings-v5-text-nano, superam ou igualam o estado da arte para modelos de tamanho similar. Os modelos jina-embeddings-v5-text suportam adicionalmente textos longos (até 32 mil tokens) em vários idiomas e geram incorporações que permanecem robustas sob truncamento e quantização binária. Os pesos dos modelos estão publicamente disponíveis, esperançosamente inspirando novos avanços no desenvolvimento de modelos de incorporação.
English
Text embedding models are widely used for semantic similarity tasks, including information retrieval, clustering, and classification. General-purpose models are typically trained with single- or multi-stage processes using contrastive loss functions. We introduce a novel training regimen that combines model distillation techniques with task-specific contrastive loss to produce compact, high-performance embedding models. Our findings suggest that this approach is more effective for training small models than purely contrastive or distillation-based training paradigms alone. Benchmark scores for the resulting models, jina-embeddings-v5-text-small and jina-embeddings-v5-text-nano, exceed or match the state-of-the-art for models of similar size. jina-embeddings-v5-text models additionally support long texts (up to 32k tokens) in many languages, and generate embeddings that remain robust under truncation and binary quantization. Model weights are publicly available, hopefully inspiring further advances in embedding model development.