EuroBERT: Scalabilità degli Encoder Multilingue per le Lingue Europee

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Autori: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Abstract

Le rappresentazioni vettoriali multilingue a scopo generale, utilizzate nel recupero, nella regressione e nella classificazione, sono tradizionalmente ottenute da modelli encoder bidirezionali. Nonostante la loro ampia applicabilità, gli encoder sono stati recentemente eclissati dai progressi nei modelli generativi basati esclusivamente su decoder. Tuttavia, molte delle innovazioni che guidano questo progresso non sono intrinsecamente legate ai decoder. In questo articolo, ripercorriamo lo sviluppo degli encoder multilingue attraverso la lente di questi progressi e introduciamo EuroBERT, una famiglia di encoder multilingue che copre le lingue europee e quelle globali più diffuse. I nostri modelli superano le alternative esistenti in un'ampia gamma di compiti, che spaziano dalle capacità multilingue alla matematica e alla programmazione, supportando nativamente sequenze fino a 8.192 token. Esaminiamo inoltre le decisioni di progettazione alla base di EuroBERT, offrendo approfondimenti sulla composizione del nostro dataset e sulla pipeline di addestramento. Rilasciamo pubblicamente i modelli EuroBERT, inclusi i checkpoint intermedi di addestramento, insieme al nostro framework di addestramento.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.