EuroBERT: Schaalbaarheid van meertalige encoders voor Europese talen

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Auteurs: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Samenvatting

Algemene meertalige vectorrepresentaties, gebruikt in retrieval, regressie en classificatie, worden traditioneel verkregen uit bidirectionele encodermodellen. Ondanks hun brede toepasbaarheid zijn encoders recentelijk overschaduwd door vooruitgang in generatieve decoder-only modellen. Echter, veel innovaties die deze vooruitgang aansturen, zijn niet inherent gebonden aan decoders. In dit artikel herzien we de ontwikkeling van meertalige encoders door de lens van deze vooruitgang en introduceren we EuroBERT, een familie van meertalige encoders die Europese en wereldwijd veel gesproken talen omvat. Onze modellen overtreffen bestaande alternatieven in een diverse reeks taken, variërend van meertalige capaciteiten, wiskunde en codering, en ondersteunen natively sequenties van tot 8.192 tokens. We onderzoeken ook de ontwerpbeslissingen achter EuroBERT en bieden inzichten in onze datasetcompositie en trainingspipeline. We maken de EuroBERT-modellen, inclusief tussenliggende trainingscheckpoints, samen met ons trainingsframework, publiekelijk beschikbaar.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.