Repenser l'optimisation et l'architecture pour les petits modèles de langage

Résumé

La puissance des grands modèles de langage (LLMs) a été démontrée grâce à d'importantes ressources en données et en calcul. Cependant, l'application de ces modèles de langage sur les appareils mobiles se heurte à des défis majeurs en termes de coûts de calcul et de mémoire, ce qui rend crucial le développement de petits modèles de langage à haute performance. Limitée par la complexité du processus d'entraînement, de nombreux aspects liés à l'optimisation des modèles de langage restent peu étudiés en détail. Dans cette étude, en nous basant sur un petit modèle de langage de 1 milliard de paramètres, nous concevons soigneusement une série d'expériences pour analyser l'effet de chaque composant. Trois perspectives sont principalement abordées : l'architecture neuronale, l'initialisation des paramètres et la stratégie d'optimisation. Plusieurs formules de conception s'avèrent empiriquement particulièrement efficaces pour les petits modèles de langage, notamment la compression du tokenizer, l'ajustement de l'architecture, l'héritage des paramètres et l'entraînement en plusieurs étapes. Nous entraînons ensuite PanGu-pi-1B Pro et PanGu-pi-1.5B Pro sur un corpus multilingue de 1,6 téraoctets, en suivant ces formules établies. Les résultats expérimentaux montrent que les améliorations apportées à l'optimisation et à l'architecture entraînent une amélioration moyenne notable de 8,87 sur les ensembles d'évaluation de référence pour PanGu-pi-1B Pro. Par ailleurs, PanGu-pi-1.5B Pro surpasse une gamme de modèles SOTA de tailles plus importantes, validant ainsi ses performances supérieures. Le code sera bientôt publié (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).

Repenser l'optimisation et l'architecture pour les petits modèles de langage

Rethinking Optimization and Architecture for Tiny Language Models

Résumé

Support