mmBERT: Современный многоязычный кодировщик с отожженным обучением языкам

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

Авторы: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

Аннотация

Модели языков, основанные исключительно на энкодерах, часто используются для решения различных стандартных задач машинного обучения, включая классификацию и поиск. Однако в последнее время исследования в области моделей-энкодеров, особенно в контексте многоязычных моделей, были ограничены. Мы представляем mmBERT — модель языка, основанную исключительно на энкодере, предобученную на 3 триллионах токенов многоязычного текста, охватывающего более 1800 языков. Для создания mmBERT мы вводим несколько новых элементов, включая график обратного соотношения масок и обратное соотношение температурной выборки. Мы добавляем более 1700 языков с ограниченными ресурсами в обучающие данные только на этапе затухания, демонстрируя, что это значительно повышает производительность и максимизирует выгоду от относительно небольшого объема обучающих данных. Несмотря на включение этих языков с ограниченными ресурсами только на коротком этапе затухания, мы достигаем аналогичной производительности в задачах классификации по сравнению с такими моделями, как OpenAI o3 и Google Gemini 2.5 Pro. В целом, мы показываем, что mmBERT значительно превосходит предыдущее поколение моделей в задачах классификации и поиска — как для языков с большими, так и с ограниченными ресурсами.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.