EuroBERT : Mise à l'échelle des encodeurs multilingues pour les langues européennes

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Auteurs: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Résumé

Les représentations vectorielles multilingues à usage général, utilisées dans la recherche d'information, la régression et la classification, sont traditionnellement obtenues à partir de modèles encodeurs bidirectionnels. Malgré leur large applicabilité, les encodeurs ont récemment été éclipsés par les avancées des modèles génératifs à décodeur unique. Cependant, de nombreuses innovations à l'origine de ces progrès ne sont pas intrinsèquement liées aux décodeurs. Dans cet article, nous revisitons le développement des encodeurs multilingues à travers le prisme de ces avancées, et introduisons EuroBERT, une famille d'encodeurs multilingues couvrant les langues européennes et les langues globales largement parlées. Nos modèles surpassent les alternatives existantes sur une gamme variée de tâches, englobant les capacités multilingues, les mathématiques et la programmation, et supportant nativement des séquences allant jusqu'à 8 192 tokens. Nous examinons également les décisions de conception derrière EuroBERT, en offrant des insights sur la composition de nos jeux de données et notre pipeline d'entraînement. Nous rendons publics les modèles EuroBERT, y compris les points de contrôle intermédiaires de l'entraînement, ainsi que notre cadre d'entraînement.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.