Ripensare Ottimizzazione e Architettura per Modelli Linguistici di Piccole Dimensioni

Abstract

La potenza dei grandi modelli linguistici (LLM) è stata dimostrata attraverso numerose risorse di dati e di calcolo. Tuttavia, l'applicazione dei modelli linguistici su dispositivi mobili sta affrontando una grande sfida in termini di costi computazionali e di memoria, rendendo urgentemente necessari modelli linguistici compatti ad alte prestazioni. Limitati dall'elevata complessità del processo di addestramento, molti dettagli per l'ottimizzazione dei modelli linguistici sono raramente studiati con attenzione. In questo studio, basandoci su un modello linguistico compatto con 1 miliardo di parametri, progettiamo con cura una serie di studi empirici per analizzare l'effetto di ciascun componente. Vengono principalmente discussi tre aspetti, ovvero l'architettura neurale, l'inizializzazione dei parametri e la strategia di ottimizzazione. Diverse formule di progettazione si dimostrano empiricamente particolarmente efficaci per i modelli linguistici compatti, tra cui la compressione del tokenizer, la modifica dell'architettura, l'ereditarietà dei parametri e l'addestramento su più cicli. Successivamente, addestriamo PanGu-pi-1B Pro e PanGu-pi-1.5B Pro su un corpus multilingue di 1.6T, seguendo le formule stabilite. I risultati sperimentali dimostrano che l'ottimizzazione e l'architettura migliorate producono un notevole incremento medio di 8.87 sui set di valutazione di riferimento per PanGu-pi-1B Pro. Inoltre, PanGu-pi-1.5B Pro supera una gamma di modelli SOTA con dimensioni maggiori, validando le sue prestazioni superiori. Il codice sarà presto rilasciato (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).

Ripensare Ottimizzazione e Architettura per Modelli Linguistici di Piccole Dimensioni

Rethinking Optimization and Architecture for Tiny Language Models

Abstract

Support