EuroBERT：欧州言語向け多言語エンコーダのスケーリング

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

著者: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

要旨

検索、回帰、分類に使用される汎用多言語ベクトル表現は、伝統的に双方向エンコーダモデルから取得されてきました。その幅広い適用性にもかかわらず、エンコーダは最近、生成専用デコーダモデルの進展に影を落とされています。しかし、この進歩を牽引する多くの革新は、本質的にデコーダに限定されるものではありません。本論文では、これらの進展を視点として多言語エンコーダの開発を再考し、欧州および広く話されている世界の言語をカバーする多言語エンコーダファミリーであるEuroBERTを紹介します。私たちのモデルは、多言語能力、数学、コーディングにわたる多様なタスクにおいて既存の代替モデルを上回り、最大8,192トークンのシーケンスをネイティブにサポートします。また、EuroBERTの設計決定についても検証し、データセット構成とトレーニングパイプラインに関する洞察を提供します。私たちは、中間トレーニングチェックポイントを含むEuroBERTモデルとトレーニングフレームワークを公開します。

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.