MiniCPM: Раскрывая потенциал небольших языковых моделей с масштабируемыми стратегиями обучения

MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

April 9, 2024

Авторы: Shengding Hu, Yuge Tu, Xu Han, Chaoqun He, Ganqu Cui, Xiang Long, Zhi Zheng, Yewei Fang, Yuxiang Huang, Weilin Zhao, Xinrong Zhang, Zheng Leng Thai, Kaihuo Zhang, Chongyi Wang, Yuan Yao, Chenyang Zhao, Jie Zhou, Jie Cai, Zhongwu Zhai, Ning Ding, Chao Jia, Guoyang Zeng, Dahai Li, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Возрастающий интерес к разработке Больших Языковых Моделей (LLM) с до триллиона параметров вызвал опасения относительно ресурсоэффективности и практических затрат, особенно учитывая огромные издержки на эксперименты. Эта ситуация подчеркивает важность исследования потенциала Малых Языковых Моделей (SLM) в качестве ресурсоэффективной альтернативы. В этом контексте мы представляем MiniCPM, специально 1.2B и 2.4B варианты параметров без эмбеддинга, которые не только выдающиеся в своих категориях, но также демонстрируют возможности на уровне 7B-13B LLM. Сосредотачиваясь на SLM, наш подход обладает масштабируемостью как в модельных, так и в данных измерениях для будущих исследований LLM. Что касается масштабирования модели, мы используем обширные эксперименты с модельным аэродинамическим тоннелем для стабильного и оптимального масштабирования. Для масштабирования данных мы представляем планировщик скорости обучения Warmup-Stable-Decay (WSD LRS), способствующий непрерывному обучению и адаптации к области. Мы представляем подробный анализ интригующей динамики обучения, происходящей в WSD LRS. С помощью WSD LRS мы теперь можем эффективно изучать законы масштабирования данных-модели без обширных экспериментов по повторному обучению как в модельных, так и в данных осях, из чего мы выводим гораздо более высокое оптимальное соотношение данных-модели, чем Chinchilla Optimal. Кроме того, мы представляем семейство MiniCPM, включая MiniCPM-DPO, MiniCPM-MoE и MiniCPM-128K, чье отличное выполнение дополнительно укрепляет основу MiniCPM в различных приложениях SLM. Модели MiniCPM доступны публично на https://github.com/OpenBMB/MiniCPM.

English

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .