MiniCPM: Het potentieel van kleine taalmodellen onthullen met schaalbare trainingsstrategieën

Samenvatting

De groeiende interesse in het ontwikkelen van Large Language Models (LLMs) met tot wel biljoenen parameters wordt begeleid door zorgen over resource-efficiëntie en praktische kosten, vooral gezien de immense kosten van experimenten. Dit scenario benadrukt het belang van het verkennen van het potentieel van Small Language Models (SLMs) als een resource-efficiënt alternatief. In deze context introduceren we MiniCPM, specifiek de 1,2B en 2,4B non-embedding parameter varianten, die niet alleen uitblinken in hun respectievelijke categorieën, maar ook capaciteiten demonstreren die vergelijkbaar zijn met 7B-13B LLMs. Terwijl we ons richten op SLMs, toont onze aanpak schaalbaarheid in zowel model- als data-dimensies voor toekomstig LLM-onderzoek. Wat betreft modelschaling, gebruiken we uitgebreide model windtunnel experimenten voor stabiele en optimale schaling. Voor data-schaling introduceren we een Warmup-Stable-Decay (WSD) leerfasescheduler (LRS), die bevorderlijk is voor continue training en domeinaanpassing. We presenteren een diepgaande analyse van de intrigerende trainingsdynamiek die plaatsvond in de WSD LRS. Met WSD LRS zijn we nu in staat om efficiënt de data-model schaalwet te bestuderen zonder uitgebreide hertrainingsexperimenten op beide assen van model en data, waaruit we de veel hogere compute optimale data-model ratio afleiden dan de Chinchilla Optimal. Daarnaast introduceren we de MiniCPM familie, inclusief MiniCPM-DPO, MiniCPM-MoE en MiniCPM-128K, waarvan de uitstekende prestaties de basis van MiniCPM verder versterken in diverse SLM-toepassingen. MiniCPM-modellen zijn publiekelijk beschikbaar op https://github.com/OpenBMB/MiniCPM.

English

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .

MiniCPM: Het potentieel van kleine taalmodellen onthullen met schaalbare trainingsstrategieën

MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

Samenvatting

Support