Llama-Embed-Nemotron-8B : Un modèle universel d'incorporation de texte pour les tâches multilingues et interlinguistiques
Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks
November 10, 2025
papers.authors: Yauhen Babakhin, Radek Osmulski, Ronay Ak, Gabriel Moreira, Mengyao Xu, Benedikt Schifferer, Bo Liu, Even Oldridge
cs.AI
papers.abstract
Nous présentons llama-embed-nemotron-8b, un modèle d'incorporation de texte à poids ouverts qui atteint des performances de pointe au classement Multilingual Massive Text Embedding Benchmark (MMTEB) en date du 21 octobre 2025. Bien que les modèles récents affichent de solides performances, leurs données ou méthodologies d'entraînement sont souvent peu divulguées. Nous visons à remédier à cela en développant un modèle entièrement open-source, en publiant publiquement ses poids et des études d'ablation détaillées, et en prévoyant de partager les ensembles de données d'entraînement curatés. Notre modèle démontre des performances supérieures dans toutes les tâches d'incorporation majeures — incluant la recherche d'information, la classification et la similarité sémantique textuelle (STS) — et excelle dans des scénarios multilingues complexes, tels que les langues peu dotées et les configurations multilingues croisées. Ces performances de pointe sont obtenues grâce à un mélange de données novateur de 16,1 millions de paires requête-document, réparties entre 7,7 millions d'échantillons provenant de jeux de données publics et 8,4 millions d'exemples générés synthétiquement à partir de divers LLM à poids ouverts. Une de nos contributions clés est une étude d'ablation détaillée analysant les choix de conception fondamentaux, incluant une comparaison des implémentations de perte contrastive, une évaluation des stratégies de génération de données synthétiques (SDG), et l'impact de la fusion de modèles. Le modèle llama-embed-nemotron-8b est sensible aux instructions, prenant en charge des instructions définies par l'utilisateur pour améliorer les performances pour des cas d'usage spécifiques. Cette combinaison de performances de premier plan, d'applicabilité étendue et de flexibilité pilotée par l'utilisateur lui permet de servir de solution universelle d'incorporation de texte.
English
We introduce llama-embed-nemotron-8b, an open-weights text embedding model
that achieves state-of-the-art performance on the Multilingual Massive Text
Embedding Benchmark (MMTEB) leaderboard as of October 21, 2025. While recent
models show strong performance, their training data or methodologies are often
not fully disclosed. We aim to address this by developing a fully open-source
model, publicly releasing its weights and detailed ablation studies, and
planning to share the curated training datasets. Our model demonstrates
superior performance across all major embedding tasks -- including retrieval,
classification and semantic textual similarity (STS) -- and excels in
challenging multilingual scenarios, such as low-resource languages and
cross-lingual setups. This state-of-the-art performance is driven by a novel
data mix of 16.1 million query-document pairs, split between 7.7 million
samples from public datasets and 8.4 million synthetically generated examples
from various open-weight LLMs. One of our key contributions is a detailed
ablation study analyzing core design choices, including a comparison of
contrastive loss implementations, an evaluation of synthetic data generation
(SDG) strategies, and the impact of model merging. The llama-embed-nemotron-8b
is an instruction-aware model, supporting user-defined instructions to enhance
performance for specific use-cases. This combination of top-tier performance,
broad applicability, and user-driven flexibility enables it to serve as a
universal text embedding solution.