mmBERT: Un encoder multilingue moderno con apprendimento linguistico temperato

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

Autori: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

Abstract

I modelli linguistici di tipo encoder-only sono frequentemente utilizzati per una varietà di compiti standard di machine learning, tra cui classificazione e recupero delle informazioni. Tuttavia, la ricerca recente sui modelli encoder è stata limitata, specialmente per quanto riguarda i modelli multilingue. Presentiamo mmBERT, un modello linguistico encoder-only preaddestrato su 3T di token di testo multilingue in oltre 1800 lingue. Per costruire mmBERT, introduciamo diversi elementi innovativi, tra cui una pianificazione del rapporto di mascheramento inverso e un rapporto di campionamento della temperatura inversa. Aggiungiamo oltre 1700 lingue a bassa risorsa al mix di dati solo durante la fase di decadimento, dimostrando che ciò migliora drasticamente le prestazioni e massimizza i guadagni derivanti dalla quantità relativamente piccola di dati di addestramento. Nonostante l'inclusione di queste lingue a bassa risorsa solo nella breve fase di decadimento, otteniamo prestazioni di classificazione simili a modelli come OpenAI's o3 e Google's Gemini 2.5 Pro. Nel complesso, dimostriamo che mmBERT supera significativamente la generazione precedente di modelli nei compiti di classificazione e recupero delle informazioni, sia per le lingue ad alta che a bassa risorsa.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.