jina-embeddings-v3: Мультиязычные векторные представления с задачей LoRA

Аннотация

Мы представляем jina-embeddings-v3, новую модель встраивания текста с 570 миллионами параметров, достигающую передовых показателей на мультиязычных данных и задачах поиска с длинным контекстом, поддерживая длину контекста до 8192 токенов. Модель включает набор адаптеров Low-Rank Adaptation (LoRA), специфичных для задачи, для создания высококачественных встраиваний для поиска запросов-документов, кластеризации, классификации и сопоставления текста. Кроме того, в процесс обучения интегрировано обучение представлений Matryoshka, позволяющее гибко усекать размеры встраивания без ущерба для производительности. Оценка на бенчмарке MTEB показывает, что jina-embeddings-v3 превосходит последние собственные встраивания от OpenAI и Cohere в англоязычных задачах, обеспечивая более высокую производительность по сравнению с multilingual-e5-large-instruct во всех мультиязычных задачах.

English

We introduce jina-embeddings-v3, a novel text embedding model with 570 million parameters, achieves state-of-the-art performance on multilingual data and long-context retrieval tasks, supporting context lengths of up to 8192 tokens. The model includes a set of task-specific Low-Rank Adaptation (LoRA) adapters to generate high-quality embeddings for query-document retrieval, clustering, classification, and text matching. Additionally, Matryoshka Representation Learning is integrated into the training process, allowing flexible truncation of embedding dimensions without compromising performance. Evaluation on the MTEB benchmark shows that jina-embeddings-v3 outperforms the latest proprietary embeddings from OpenAI and Cohere on English tasks, while achieving superior performance compared to multilingual-e5-large-instruct across all multilingual tasks.

jina-embeddings-v3: Мультиязычные векторные представления с задачей LoRA

jina-embeddings-v3: Multilingual Embeddings With Task LoRA

Аннотация

Support