mmBERT: Un codificador multilingüe moderno con aprendizaje de lenguajes templado

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

Autores: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

Resumen

Los modelos de lenguaje de solo codificador (encoder-only) se utilizan frecuentemente para una variedad de tareas estándar de aprendizaje automático, incluyendo clasificación y recuperación. Sin embargo, ha habido una falta de investigación reciente sobre modelos de codificador, especialmente en lo que respecta a modelos multilingües. Presentamos mmBERT, un modelo de lenguaje de solo codificador preentrenado con 3 billones de tokens de texto multilingüe en más de 1800 idiomas. Para construir mmBERT, introducimos varios elementos novedosos, incluyendo un programa de relación de enmascaramiento inverso y una relación de muestreo de temperatura inversa. Añadimos más de 1700 idiomas de bajos recursos a la mezcla de datos solo durante la fase de decaimiento, demostrando que esto mejora drásticamente el rendimiento y maximiza las ganancias obtenidas de la cantidad relativamente pequeña de datos de entrenamiento. A pesar de incluir estos idiomas de bajos recursos solo en la breve fase de decaimiento, logramos un rendimiento de clasificación similar a modelos como el o3 de OpenAI y el Gemini 2.5 Pro de Google. En general, demostramos que mmBERT supera significativamente a la generación anterior de modelos en tareas de clasificación y recuperación, tanto en idiomas de altos como de bajos recursos.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.