EmbeddingGemma：強力で軽量なテキスト表現

要旨

私たちは、Gemma 3言語モデルファミリーを基にした新しい軽量オープンテキスト埋め込みモデル「EmbeddingGemma」を紹介します。私たちの革新的なトレーニング手法は、エンコーダ-デコーダ初期化と幾何学的埋め込み蒸留を通じて、より大規模なモデルから知識を戦略的に取り込みます。モデルの堅牢性と表現力を向上させるために、スプレッドアウト正則化を採用し、最適化された多様なチェックポイントを統合することで汎化性能を確保しています。多言語、英語、コード領域にわたるMassive Text Embedding Benchmark（MTEB）で評価された結果、EmbeddingGemma（300M）は最先端の結果を達成しました。特に、500M未満のパラメータ数で、従来のトップモデル（プロプライエタリおよびオープン）を上回り、その2倍のサイズのモデルに匹敵する性能を提供し、優れた性能対コスト比を実現しています。注目すべきは、モデルの重みを量子化したり、埋め込み出力を切り詰めたりしても、この優位性が持続することです。これにより、EmbeddingGemmaは、オンデバイスアプリケーションなどの低遅延かつ高スループットのユースケースに特に適しています。主要な設計選択を探るアブレーションスタディも提供しています。EmbeddingGemmaをコミュニティに公開し、さらなる研究を促進します。

English

We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.

EmbeddingGemma：強力で軽量なテキスト表現

EmbeddingGemma: Powerful and Lightweight Text Representations

要旨

Support