Llama-Embed-Nemotron-8B: Um Modelo Universal de Incorporação de Texto para Tarefas Multilíngues e Translinguais

Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks

November 10, 2025

Autores: Yauhen Babakhin, Radek Osmulski, Ronay Ak, Gabriel Moreira, Mengyao Xu, Benedikt Schifferer, Bo Liu, Even Oldridge

cs.AI

Resumo

Apresentamos o llama-embed-nemotron-8b, um modelo de incorporação de texto de pesos abertos que atinge desempenho de última geração no *leaderboard* do *Multilingual Massive Text Embedding Benchmark* (MMTEB) em 21 de outubro de 2025. Embora modelos recentes apresentem desempenho sólido, seus dados ou metodologias de treinamento frequentemente não são totalmente divulgados. Nosso objetivo é abordar essa lacuna desenvolvendo um modelo totalmente de código aberto, disponibilizando publicamente seus pesos e estudos de ablação detalhados, e planejando compartilhar os conjuntos de dados de treinamento curados. Nosso modelo demonstra desempenho superior em todas as principais tarefas de incorporação — incluindo recuperação, classificação e similaridade semântica textual (STS) — e se destaca em cenários multilíngues desafiadores, como idiomas de baixos recursos e configurações cruzadas. Esse desempenho de ponta é impulsionado por uma nova mistura de dados de 16,1 milhões de pares de consulta-documento, divididos entre 7,7 milhões de amostras de conjuntos de dados públicos e 8,4 milhões de exemplos gerados sinteticamente a partir de vários LLMs de pesos abertos. Uma de nossas principais contribuições é um estudo de ablação detalhado que analisa escolhas de design fundamentais, incluindo uma comparação de implementações de perda contrastiva, uma avaliação de estratégias de geração sintética de dados (SDG) e o impacto da fusão de modelos. O llama-embed-nemotron-8b é um modelo consciente de instruções, suportando instruções definidas pelo usuário para melhorar o desempenho em casos de uso específicos. Esta combinação de desempenho de primeira linha, ampla aplicabilidade e flexibilidade orientada ao usuário permite que ele sirva como uma solução universal de incorporação de texto.

English

We introduce llama-embed-nemotron-8b, an open-weights text embedding model that achieves state-of-the-art performance on the Multilingual Massive Text Embedding Benchmark (MMTEB) leaderboard as of October 21, 2025. While recent models show strong performance, their training data or methodologies are often not fully disclosed. We aim to address this by developing a fully open-source model, publicly releasing its weights and detailed ablation studies, and planning to share the curated training datasets. Our model demonstrates superior performance across all major embedding tasks -- including retrieval, classification and semantic textual similarity (STS) -- and excels in challenging multilingual scenarios, such as low-resource languages and cross-lingual setups. This state-of-the-art performance is driven by a novel data mix of 16.1 million query-document pairs, split between 7.7 million samples from public datasets and 8.4 million synthetically generated examples from various open-weight LLMs. One of our key contributions is a detailed ablation study analyzing core design choices, including a comparison of contrastive loss implementations, an evaluation of synthetic data generation (SDG) strategies, and the impact of model merging. The llama-embed-nemotron-8b is an instruction-aware model, supporting user-defined instructions to enhance performance for specific use-cases. This combination of top-tier performance, broad applicability, and user-driven flexibility enables it to serve as a universal text embedding solution.