Qwen3 Embedding: Развитие текстовых эмбеддингов и ранжирования с использованием фундаментальных моделей

Аннотация

В данной работе мы представляем серию Qwen3 Embedding, которая представляет собой значительный прогресс по сравнению с предшественником, серией GTE-Qwen, в области текстового эмбеддинга и ранжирования, построенной на основе базовых моделей Qwen3. Используя мощные возможности языковых моделей Qwen3 в понимании и генерации многоязычного текста, наш инновационный многоэтапный процесс обучения сочетает масштабное неконтролируемое предварительное обучение с контролируемой тонкой настройкой на высококачественных наборах данных. Эффективные стратегии слияния моделей дополнительно обеспечивают устойчивость и адаптивность серии Qwen3 Embedding. В процессе обучения языковые модели Qwen3 выступают не только в качестве базовых моделей, но и играют ключевую роль в синтезе высококачественных, разнообразных и богатых обучающих данных, охватывающих множество доменов и языков, что улучшает процесс обучения. Серия Qwen3 Embedding предлагает спектр размеров моделей (0.6B, 4B, 8B) для задач эмбеддинга и ранжирования, охватывая различные сценарии развертывания, где пользователи могут оптимизировать либо эффективность, либо производительность. Эмпирические оценки показывают, что серия Qwen3 Embedding достигает передовых результатов на различных бенчмарках. Особенно она выделяется на многоязычном бенчмарке MTEB для текстового эмбеддинга, а также в различных задачах поиска, включая поиск кода, кросс-языковой поиск и многоязычный поиск. Для обеспечения воспроизводимости и поддержки исследований и разработок, проводимых сообществом, модели Qwen3 Embedding доступны публично под лицензией Apache 2.0.

English

In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.

Qwen3 Embedding: Развитие текстовых эмбеддингов и ранжирования с использованием фундаментальных моделей

Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

Аннотация

Support