MiniCPM: スケーラブルな学習戦略による小型言語モデルの可能性の解明

MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

April 9, 2024

著者: Shengding Hu, Yuge Tu, Xu Han, Chaoqun He, Ganqu Cui, Xiang Long, Zhi Zheng, Yewei Fang, Yuxiang Huang, Weilin Zhao, Xinrong Zhang, Zheng Leng Thai, Kaihuo Zhang, Chongyi Wang, Yuan Yao, Chenyang Zhao, Jie Zhou, Jie Cai, Zhongwu Zhai, Ning Ding, Chao Jia, Guoyang Zeng, Dahai Li, Zhiyuan Liu, Maosong Sun

cs.AI

要旨

大規模言語モデル（LLMs）の開発、特に1兆パラメータ規模のモデルに対する関心が高まる中で、リソース効率と実用的なコスト、特に実験の莫大な費用に対する懸念が生じています。この状況は、リソース効率の良い代替手段としての小規模言語モデル（SLMs）の可能性を探求する重要性を浮き彫りにしています。この文脈において、我々はMiniCPMを紹介します。具体的には、1.2Bおよび2.4Bの非埋め込みパラメータバージョンは、それぞれのカテゴリーで優れた性能を発揮するだけでなく、7B-13B規模のLLMsと同等の能力を示します。SLMsに焦点を当てつつ、我々のアプローチは、将来のLLM研究においてモデルとデータの両次元でのスケーラビリティを示しています。モデルスケーリングに関しては、安定した最適なスケーリングを実現するために大規模なモデル風洞実験を採用しています。データスケーリングに関しては、連続的なトレーニングとドメイン適応に適したWarmup-Stable-Decay（WSD）学習率スケジューラ（LRS）を導入しています。WSD LRSで発生した興味深いトレーニングダイナミクスについて詳細な分析を提示します。WSD LRSを用いることで、モデルとデータの両軸での大規模な再トレーニング実験なしに、データ-モデルスケーリング法則を効率的に研究できるようになり、Chinchilla Optimalよりもはるかに高い計算最適なデータ-モデル比率を導き出しました。さらに、MiniCPMファミリーを紹介します。これにはMiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kが含まれ、その優れた性能により、MiniCPMの多様なSLMアプリケーションにおける基盤がさらに固まります。MiniCPMモデルはhttps://github.com/OpenBMB/MiniCPMで公開されています。

English

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .