mmBERT: Een moderne meertalige encoder met geanneleerd taalleerproces

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

Auteurs: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

Samenvatting

Encoder-only taalmodellen worden vaak gebruikt voor een verscheidenheid aan standaard machine learning taken, waaronder classificatie en retrieval. Er is echter recentelijk weinig onderzoek gedaan naar encodermodellen, met name op het gebied van meertalige modellen. Wij introduceren mmBERT, een encoder-only taalmodel dat voorgetraind is op 3T tokens van meertalige tekst in meer dan 1800 talen. Voor de ontwikkeling van mmBERT introduceren we verschillende nieuwe elementen, waaronder een inverse maskerratio-schema en een inverse temperatuursteekproefratio. We voegen meer dan 1700 talen met weinig bronnen toe aan de datamix, maar alleen tijdens de vervalfase, wat aantoont dat dit de prestaties aanzienlijk verbetert en de winst maximaliseert uit de relatief kleine hoeveelheid trainingsdata. Ondanks dat we deze talen met weinig bronnen alleen in de korte vervalfase opnemen, behalen we vergelijkbare classificatieprestaties als modellen zoals OpenAI's o3 en Google's Gemini 2.5 Pro. Over het algemeen laten we zien dat mmBERT de vorige generatie modellen aanzienlijk overtreft op classificatie- en retrievaltaken – zowel voor talen met veel als weinig bronnen.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.