mmBERT: Um Codificador Multilíngue Moderno com Aprendizado de Linguagem Recozida

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

Autores: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

Resumo

Modelos de linguagem do tipo encoder-only são frequentemente utilizados para uma variedade de tarefas padrão de aprendizado de máquina, incluindo classificação e recuperação de informações. No entanto, há uma escassez de pesquisas recentes sobre modelos encoder, especialmente no que diz respeito a modelos multilíngues. Apresentamos o mmBERT, um modelo de linguagem encoder-only pré-treinado em 3 trilhões de tokens de texto multilíngue, abrangendo mais de 1800 idiomas. Para construir o mmBERT, introduzimos vários elementos inovadores, incluindo um cronograma de taxa de máscara inversa e uma taxa de amostragem de temperatura inversa. Adicionamos mais de 1700 idiomas de baixo recurso à mistura de dados apenas durante a fase de decaimento, demonstrando que isso impulsiona significativamente o desempenho e maximiza os ganhos obtidos com a quantidade relativamente pequena de dados de treinamento. Apesar de incluir esses idiomas de baixo recurso apenas na curta fase de decaimento, alcançamos desempenho de classificação semelhante a modelos como o o3 da OpenAI e o Gemini 2.5 Pro da Google. No geral, mostramos que o mmBERT supera significativamente a geração anterior de modelos em tarefas de classificação e recuperação de informações — tanto em idiomas de alto quanto de baixo recurso.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.