EuroBERT: Масштабирование многоязычных энкодеров для европейских языков

EuroBERT: Scaling Multilingual Encoders for European Languages

March 7, 2025

Авторы: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André Martins, Ayoub Hammal, Caio Corro, Céline Hudelot, Emmanuel Malherbe, Etienne Malaboeuf, Fanny Jourdan, Gabriel Hautreux, João Alves, Kevin El-Haddad, Manuel Faysse, Maxime Peyrard, Nuno M. Guerreiro, Patrick Fernandes, Ricardo Rei, Pierre Colombo

cs.AI

Аннотация

Универсальные многоязычные векторные представления, используемые в задачах поиска, регрессии и классификации, традиционно получаются с помощью двунаправленных моделей-кодировщиков. Несмотря на их широкую применимость, кодировщики в последнее время оказались в тени достижений генеративных моделей, использующих только декодеры. Однако многие инновации, лежащие в основе этого прогресса, не являются исключительно привязанными к декодерам. В данной статье мы пересматриваем развитие многоязычных кодировщиков через призму этих достижений и представляем EuroBERT — семейство многоязычных кодировщиков, охватывающих европейские и широко распространённые мировые языки. Наши модели превосходят существующие аналоги в широком спектре задач, включая многоязычные возможности, математику и программирование, а также поддерживают последовательности длиной до 8 192 токенов. Мы также анализируем ключевые проектные решения, лежащие в основе EuroBERT, и делимся инсайтами о составе данных и процессе обучения. Мы публикуем модели EuroBERT, включая промежуточные контрольные точки обучения, вместе с нашей обучающей инфраструктурой.

English

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.