EuroBERT: Escalando Codificadores Multilingües para Lenguas Europeas

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Autores: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Resumen

Las representaciones vectoriales multilingües de propósito general, utilizadas en recuperación, regresión y clasificación, tradicionalmente se obtienen de modelos codificadores bidireccionales. A pesar de su amplia aplicabilidad, los codificadores han sido recientemente eclipsados por los avances en modelos generativos basados únicamente en decodificadores. Sin embargo, muchas de las innovaciones que impulsan este progreso no están intrínsecamente ligadas a los decodificadores. En este artículo, revisitamos el desarrollo de codificadores multilingües a través del lente de estos avances e introducimos EuroBERT, una familia de codificadores multilingües que cubre lenguas europeas y globales ampliamente habladas. Nuestros modelos superan a las alternativas existentes en una amplia gama de tareas, abarcando capacidades multilingües, matemáticas y programación, y admitiendo nativamente secuencias de hasta 8.192 tokens. También examinamos las decisiones de diseño detrás de EuroBERT, ofreciendo información sobre la composición de nuestro conjunto de datos y el proceso de entrenamiento. Publicamos los modelos EuroBERT, incluyendo puntos de control intermedios del entrenamiento, junto con nuestro marco de entrenamiento.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.