Neubewertung von Optimierung und Architektur für winzige Sprachmodelle

Zusammenfassung

Die Leistungsfähigkeit großer Sprachmodelle (LLMs) wurde durch zahlreiche Daten und Rechenressourcen unter Beweis gestellt. Die Anwendung von Sprachmodellen auf mobilen Geräten steht jedoch vor enormen Herausforderungen in Bezug auf Rechen- und Speicherkosten, sodass dringend kleine Sprachmodelle mit hoher Leistung benötigt werden. Aufgrund des hochkomplexen Trainingsprozesses gibt es viele Details zur Optimierung von Sprachmodellen, die bisher kaum gründlich untersucht wurden. In dieser Studie entwerfen wir basierend auf einem kleinen Sprachmodell mit 1B Parametern eine Reihe empirischer Untersuchungen, um die Auswirkungen jeder Komponente zu analysieren. Dabei werden hauptsächlich drei Perspektiven diskutiert: neuronale Architektur, Parameterinitialisierung und Optimierungsstrategie. Mehrere Designformeln erweisen sich empirisch als besonders effektiv für kleine Sprachmodelle, darunter Tokenizer-Kompression, Architektur-Anpassungen, Parametervererbung und mehrfaches Training. Anschließend trainieren wir PanGu-pi-1B Pro und PanGu-pi-1.5B Pro auf einem 1.6T umfassenden multilingualen Korpus, wobei wir die etablierten Formeln befolgen. Die experimentellen Ergebnisse zeigen, dass die verbesserte Optimierung und Architektur eine durchschnittliche Steigerung von 8.87 auf Benchmark-Evaluierungsdatensätzen für PanGu-pi-1B Pro bewirken. Darüber hinaus übertrifft PanGu-pi-1.5B Pro eine Reihe von SOTA-Modellen mit größeren Modellgrößen, was seine überlegene Leistung bestätigt. Der Code wird bald veröffentlicht (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).

Neubewertung von Optimierung und Architektur für winzige Sprachmodelle

Rethinking Optimization and Architecture for Tiny Language Models

Zusammenfassung

Support