EuroBERT: Skalierung mehrsprachiger Encoder für europäische Sprachen
EuroBERT: Scaling Multilingual Encoders for European Languages
March 7, 2025
papers.authors: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo
cs.AI
papers.abstract
Allgemeine mehrsprachige Vektorrepräsentationen, die in Retrieval-, Regressions- und Klassifikationsaufgaben verwendet werden, werden traditionell aus bidirektionalen Encoder-Modellen gewonnen. Trotz ihrer breiten Anwendbarkeit wurden Encoder in letzter Zeit durch Fortschritte bei generativen Decoder-only-Modellen in den Hintergrund gedrängt. Viele der Innovationen, die diesen Fortschritt vorantreiben, sind jedoch nicht inhärent an Decoder gebunden. In diesem Papier betrachten wir die Entwicklung mehrsprachiger Encoder im Lichte dieser Fortschritte neu und stellen EuroBERT vor, eine Familie mehrsprachiger Encoder, die europäische und global weit verbreitete Sprachen abdeckt. Unsere Modelle übertreffen bestehende Alternativen in einer Vielzahl von Aufgaben, die mehrsprachige Fähigkeiten, Mathematik und Programmierung umfassen, und unterstützen nativ Sequenzen von bis zu 8.192 Tokens. Wir untersuchen auch die Designentscheidungen hinter EuroBERT und geben Einblicke in unsere Datensatzzusammensetzung und Trainingspipeline. Wir veröffentlichen die EuroBERT-Modelle, einschließlich Zwischencheckpoints des Trainings, zusammen mit unserem Trainingsframework.
English
General-purpose multilingual vector representations, used in retrieval,
regression and classification, are traditionally obtained from bidirectional
encoder models. Despite their wide applicability, encoders have been recently
overshadowed by advances in generative decoder-only models. However, many
innovations driving this progress are not inherently tied to decoders. In this
paper, we revisit the development of multilingual encoders through the lens of
these advances, and introduce EuroBERT, a family of multilingual encoders
covering European and widely spoken global languages. Our models outperform
existing alternatives across a diverse range of tasks, spanning multilingual
capabilities, mathematics, and coding, and natively supporting sequences of up
to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering
insights into our dataset composition and training pipeline. We publicly
release the EuroBERT models, including intermediate training checkpoints,
together with our training framework.