mmBERT：アニーリング言語学習を備えた現代的多言語エンコーダー

要旨

エンコーダのみの言語モデルは、分類や検索を含む様々な標準的な機械学習タスクで頻繁に使用されています。しかし、特に多言語モデルに関しては、最近のエンコーダモデルの研究が不足しています。本論文では、1800以上の言語で3兆トークンの多言語テキストを事前学習したエンコーダのみの言語モデルであるmmBERTを紹介します。mmBERTを構築するために、逆マスク比率スケジュールや逆温度サンプリング比率など、いくつかの新しい要素を導入しました。また、1700以上の低リソース言語を、減衰フェーズでのみデータに追加することで、性能が劇的に向上し、比較的少量の学習データから得られる利益を最大化することを示しました。これらの低リソース言語を短い減衰フェーズにのみ含めたにもかかわらず、OpenAIのo3やGoogleのGemini 2.5 Proのようなモデルと同等の分類性能を達成しました。全体として、mmBERTが高リソース言語と低リソース言語の両方において、分類と検索タスクで前世代のモデルを大幅に上回ることを示しました。

English

Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.

mmBERT：アニーリング言語学習を備えた現代的多言語エンコーダー

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

要旨

Support