MiniCPM: Revelando o Potencial de Modelos de Linguagem Pequenos com Estratégias Escaláveis de Treinamento

Resumo

O crescente interesse no desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) com até trilhões de parâmetros tem sido acompanhado por preocupações em relação à eficiência de recursos e ao custo prático, especialmente considerando o imenso custo de experimentação. Esse cenário ressalta a importância de explorar o potencial dos Modelos de Linguagem de Pequena Escala (SLMs) como uma alternativa eficiente em termos de recursos. Nesse contexto, apresentamos o MiniCPM, especificamente as variantes de 1,2B e 2,4B de parâmetros não incorporados, que não apenas se destacam em suas respectivas categorias, mas também demonstram capacidades comparáveis a LLMs de 7B-13B. Embora nosso foco esteja nos SLMs, nossa abordagem exibe escalabilidade tanto na dimensão do modelo quanto na de dados para futuras pesquisas em LLMs. Em relação à escalabilidade do modelo, empregamos extensos experimentos em túnel de vento para garantir uma escalabilidade estável e ótima. Para a escalabilidade de dados, introduzimos um agendador de taxa de aprendizado (LRS) Warmup-Stable-Decay (WSD), propício para treinamento contínuo e adaptação de domínio. Apresentamos uma análise detalhada das intrigantes dinâmicas de treinamento que ocorreram no LRS WSD. Com o LRS WSD, agora somos capazes de estudar eficientemente a lei de escalabilidade de dados-modelo sem a necessidade de extensos experimentos de retreinamento em ambos os eixos de modelo e dados, a partir dos quais derivamos uma razão ótima de dados-modelo muito superior à Ótima de Chinchilla. Além disso, introduzimos a família MiniCPM, incluindo MiniCPM-DPO, MiniCPM-MoE e MiniCPM-128K, cujo excelente desempenho consolida ainda mais a base do MiniCPM em diversas aplicações de SLM. Os modelos MiniCPM estão disponíveis publicamente em https://github.com/OpenBMB/MiniCPM.

English

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .

MiniCPM: Revelando o Potencial de Modelos de Linguagem Pequenos com Estratégias Escaláveis de Treinamento

MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

Resumo

Support