MiniCPM: Svelare il Potenziale dei Modelli Linguistici di Piccole Dimensioni con Strategie di Addestramento Scalabili

Abstract

Il crescente interesse nello sviluppo di Large Language Model (LLM) con fino a trilioni di parametri è stato accompagnato da preoccupazioni riguardo all'efficienza delle risorse e ai costi pratici, soprattutto considerando l'enorme costo degli esperimenti. Questo scenario sottolinea l'importanza di esplorare il potenziale dei Small Language Model (SLM) come alternativa efficiente in termini di risorse. In questo contesto, presentiamo MiniCPM, in particolare le varianti da 1,2 miliardi e 2,4 miliardi di parametri non di embedding, che non solo eccellono nelle rispettive categorie, ma dimostrano anche capacità paragonabili a LLM da 7-13 miliardi di parametri. Pur concentrandoci sugli SLM, il nostro approccio mostra scalabilità sia nelle dimensioni del modello che dei dati per la futura ricerca sugli LLM. Per quanto riguarda la scalabilità del modello, utilizziamo estesi esperimenti in galleria del vento per ottenere una scalabilità stabile e ottimale. Per la scalabilità dei dati, introduciamo un pianificatore del tasso di apprendimento (LRS) Warmup-Stable-Decay (WSD), favorevole alla formazione continua e all'adattamento al dominio. Presentiamo un'analisi approfondida delle dinamiche di formazione interessanti che si sono verificate nel LRS WSD. Con il LRS WSD, siamo ora in grado di studiare in modo efficiente la legge di scalabilità dati-modello senza la necessità di estesi esperimenti di riaddestramento su entrambi gli assi del modello e dei dati, da cui deriviamo un rapporto dati-modello molto più ottimale in termini di calcolo rispetto a quello di Chinchilla Optimal. Inoltre, introduciamo la famiglia MiniCPM, inclusi MiniCPM-DPO, MiniCPM-MoE e MiniCPM-128K, le cui eccellenti prestazioni consolidano ulteriormente le fondamenta di MiniCPM in diverse applicazioni SLM. I modelli MiniCPM sono disponibili pubblicamente all'indirizzo https://github.com/OpenBMB/MiniCPM.

English

The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly at https://github.com/OpenBMB/MiniCPM .

MiniCPM: Svelare il Potenziale dei Modelli Linguistici di Piccole Dimensioni con Strategie di Addestramento Scalabili

MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies

Abstract

Support