EuroBERT: Dimensionando Codificadores Multilíngues para Línguas Europeias

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Autores: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Resumo

Representações vetoriais multilingues de propósito geral, utilizadas em recuperação, regressão e classificação, são tradicionalmente obtidas a partir de modelos de codificadores bidirecionais. Apesar de sua ampla aplicabilidade, os codificadores foram recentemente ofuscados pelos avanços em modelos generativos baseados apenas em decodificadores. No entanto, muitas das inovações que impulsionam esse progresso não estão intrinsecamente ligadas aos decodificadores. Neste artigo, revisitamos o desenvolvimento de codificadores multilingues sob a perspectiva desses avanços e introduzimos o EuroBERT, uma família de codificadores multilingues que abrange idiomas europeus e amplamente falados globalmente. Nossos modelos superam as alternativas existentes em uma ampla gama de tarefas, abrangendo capacidades multilingues, matemática e codificação, além de suportar nativamente sequências de até 8.192 tokens. Também examinamos as decisões de projeto por trás do EuroBERT, oferecendo insights sobre a composição do conjunto de dados e o pipeline de treinamento. Disponibilizamos publicamente os modelos EuroBERT, incluindo checkpoints intermediários de treinamento, juntamente com nossa estrutura de treinamento.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.