mmBERT : Un encodeur multilingue moderne avec apprentissage linguistique recuit

papers.abstract

Les modèles de langage de type encodeur uniquement sont fréquemment utilisés pour une variété de tâches standards d'apprentissage automatique, notamment la classification et la recherche d'information. Cependant, il y a eu un manque de recherches récentes sur les modèles encodeurs, en particulier en ce qui concerne les modèles multilingues. Nous présentons mmBERT, un modèle de langage de type encodeur uniquement pré-entraîné sur 3 000 milliards de tokens de texte multilingue dans plus de 1800 langues. Pour construire mmBERT, nous introduisons plusieurs éléments novateurs, notamment un plan de ratio de masquage inverse et un ratio d'échantillonnage à température inverse. Nous ajoutons plus de 1700 langues à faible ressource au mélange de données uniquement pendant la phase de décroissance, démontrant que cela améliore considérablement les performances et maximise les gains obtenus à partir de la quantité relativement faible de données d'entraînement. Malgré l'inclusion de ces langues à faible ressource uniquement dans la courte phase de décroissance, nous obtenons des performances de classification similaires à des modèles comme o3 d'OpenAI et Gemini 2.5 Pro de Google. Globalement, nous montrons que mmBERT surpasse significativement la génération précédente de modèles sur les tâches de classification et de recherche d'information — tant pour les langues à ressources élevées que pour celles à faibles ressources.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.

mmBERT : Un encodeur multilingue moderne avec apprentissage linguistique recuit

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

papers.abstract

Support