mmBERT: Ein moderner multilingualer Encoder mit abgestuftem Sprachenlernen

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

September 8, 2025

papers.authors: Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

cs.AI

papers.abstract

Encoder-only-Sprachmodelle werden häufig für eine Vielzahl von Standardaufgaben des maschinellen Lernens verwendet, darunter Klassifikation und Retrieval. Allerdings gab es in jüngster Zeit nur wenig Forschung zu Encoder-Modellen, insbesondere im Hinblick auf mehrsprachige Modelle. Wir stellen mmBERT vor, ein Encoder-only-Sprachmodell, das auf 3T Token mehrsprachiger Texte in über 1800 Sprachen vortrainiert wurde. Um mmBERT zu entwickeln, führen wir mehrere neuartige Elemente ein, darunter einen inversen Maskenratenplan und ein inverses Temperatur-Sampling-Verhältnis. Wir fügen über 1700 ressourcenarme Sprachen erst während der Abklingphase zum Datenmix hinzu und zeigen, dass dies die Leistung dramatisch steigert und den Nutzen aus der relativ geringen Menge an Trainingsdaten maximiert. Obwohl diese ressourcenarmen Sprachen nur in der kurzen Abklingphase berücksichtigt werden, erreichen wir eine ähnliche Klassifikationsleistung wie Modelle von OpenAI’s o3 und Google’s Gemini 2.5 Pro. Insgesamt zeigen wir, dass mmBERT die vorherige Modellgeneration bei Klassifikations- und Retrieval-Aufgaben deutlich übertrifft – sowohl für ressourcenreiche als auch für ressourcenarme Sprachen.

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.