Qwen3 Embedding: 基盤モデルによるテキスト埋め込みと再ランキングの進化
Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
June 5, 2025
著者: Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, Jingren Zhou
cs.AI
要旨
本研究では、Qwen3基盤モデルを基に構築されたQwen3 Embeddingシリーズを紹介します。これは、前身であるGTE-Qwenシリーズを大幅に進化させたもので、テキスト埋め込みと再ランキングの能力において大きな進歩を遂げています。Qwen3 LLMの多言語テキスト理解と生成における強力な能力を活用し、大規模な教師なし事前学習と高品質データセットを用いた教師あり微調整を組み合わせた革新的な多段階トレーニングパイプラインを採用しています。効果的なモデル統合戦略により、Qwen3 Embeddingシリーズの堅牢性と適応性がさらに確保されています。トレーニングプロセスにおいて、Qwen3 LLMはバックボーンモデルとしてだけでなく、複数のドメインと言語にわたる高品質で豊かで多様なトレーニングデータを合成する上でも重要な役割を果たし、トレーニングパイプラインを強化しています。Qwen3 Embeddingシリーズは、埋め込みと再ランキングのタスクにおいて、0.6B、4B、8Bという幅広いモデルサイズを提供し、効率性または効果性のいずれかを最適化できる多様な展開シナリオに対応しています。実証評価により、Qwen3 Embeddingシリーズが多様なベンチマークで最先端の結果を達成することが示されています。特に、テキスト埋め込みのための多言語評価ベンチマークMTEBや、コード検索、クロスランガル検索、多言語検索を含む様々な検索タスクにおいて優れた性能を発揮します。再現性を促進し、コミュニティ主導の研究開発を推進するため、Qwen3 EmbeddingモデルはApache 2.0ライセンスの下で公開されています。
English
In this work, we introduce the Qwen3 Embedding series, a significant
advancement over its predecessor, the GTE-Qwen series, in text embedding and
reranking capabilities, built upon the Qwen3 foundation models. Leveraging the
Qwen3 LLMs' robust capabilities in multilingual text understanding and
generation, our innovative multi-stage training pipeline combines large-scale
unsupervised pre-training with supervised fine-tuning on high-quality datasets.
Effective model merging strategies further ensure the robustness and
adaptability of the Qwen3 Embedding series. During the training process, the
Qwen3 LLMs serve not only as backbone models but also play a crucial role in
synthesizing high-quality, rich, and diverse training data across multiple
domains and languages, thus enhancing the training pipeline. The Qwen3
Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both
embedding and reranking tasks, addressing diverse deployment scenarios where
users can optimize for either efficiency or effectiveness. Empirical
evaluations demonstrate that the Qwen3 Embedding series achieves
state-of-the-art results across diverse benchmarks. Notably, it excels on the
multilingual evaluation benchmark MTEB for text embedding, as well as in
various retrieval tasks, including code retrieval, cross-lingual retrieval and
multilingual retrieval. To facilitate reproducibility and promote
community-driven research and development, the Qwen3 Embedding models are
publicly available under the Apache 2.0 license.