EmbeddingGemma : Représentations textuelles puissantes et légères

EmbeddingGemma: Powerful and Lightweight Text Representations

September 24, 2025

papers.authors: Henrique Schechter Vera, Sahil Dua, Biao Zhang, Daniel Salz, Ryan Mullins, Sindhu Raghuram Panyam, Sara Smoot, Iftekhar Naim, Joe Zou, Feiyang Chen, Daniel Cer, Alice Lisak, Min Choi, Lucas Gonzalez, Omar Sanseviero, Glenn Cameron, Ian Ballantyne, Kat Black, Kaifeng Chen, Weiyi Wang, Zhe Li, Gus Martins, Jinhyuk Lee, Mark Sherwood, Juyeong Ji, Renjie Wu, Jingxiao Zheng, Jyotinder Singh, Abheesht Sharma, Divya Sreepat, Aashi Jain, Adham Elarabawy, AJ Co, Andreas Doumanoglou, Babak Samari, Ben Hora, Brian Potetz, Dahun Kim, Enrique Alfonseca, Fedor Moiseev, Feng Han, Frank Palma Gomez, Gustavo Hernández Ábrego, Hesen Zhang, Hui Hui, Jay Han, Karan Gill, Ke Chen, Koert Chen, Madhuri Shanbhogue, Michael Boratko, Paul Suganthan, Sai Meher Karthik Duddu, Sandeep Mariserla, Setareh Ariafar, Shanfeng Zhang, Shijie Zhang, Simon Baumgartner, Sonam Goenka, Steve Qiu, Tanmaya Dabral, Trevor Walker, Vikram Rao, Waleed Khawaja, Wenlei Zhou, Xiaoqi Ren, Ye Xia, Yichang Chen, Yi-Ting Chen, Zhe Dong, Zhongli Ding, Francesco Visin, Gaël Liu, Jiageng Zhang, Kathleen Kenealy, Michelle Casbon, Ravin Kumar, Thomas Mesnard, Zach Gleicher, Cormac Brick, Olivier Lacombe, Adam Roberts, Yunhsuan Sung, Raphael Hoffmann, Tris Warkentin, Armand Joulin, Tom Duerig, Mojtaba Seyedhosseini

cs.AI

papers.abstract

Nous présentons EmbeddingGemma, un nouveau modèle d'encodage de texte léger et ouvert, basé sur la famille de modèles de langage Gemma 3. Notre recette d'entraînement innovante capture stratégiquement les connaissances de modèles plus volumineux via une initialisation encodeur-décodeur et une distillation géométrique des embeddings. Nous améliorons la robustesse et l'expressivité du modèle grâce à un régularisateur d'étalement, et assurons sa généralisabilité en fusionnant des points de contrôle issus de mélanges variés et optimisés. Évalué sur le benchmark Massive Text Embedding Benchmark (MTEB) à travers les domaines multilingues, anglais et de code, EmbeddingGemma (300M) atteint des résultats de pointe. Notamment, il surpasse les meilleurs modèles précédents, tant propriétaires qu'ouverts, avec moins de 500M de paramètres, et offre des performances comparables à des modèles deux fois plus grands, présentant un rapport performance-coût exceptionnel. Fait remarquable, cet avantage persiste lors de la quantification des poids du modèle ou de la troncation des sorties d'encodage. Cela rend EmbeddingGemma particulièrement adapté aux cas d'utilisation à faible latence et haut débit, tels que les applications sur appareil. Nous fournissons des études d'ablation explorant nos choix de conception clés. Nous mettons EmbeddingGemma à disposition de la communauté pour promouvoir la recherche future.

English

We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.