Heroverweging van Optimalisatie en Architectuur voor Miniatuur Taalmodellen

Rethinking Optimization and Architecture for Tiny Language Models

February 5, 2024

Auteurs: Yehui Tang, Fangcheng Liu, Yunsheng Ni, Yuchuan Tian, Zheyuan Bai, Yi-Qi Hu, Sichao Liu, Shangling Jui, Kai Han, Yunhe Wang

cs.AI

Samenvatting

De kracht van grote taalmodellen (LLMs) is aangetoond door middel van talrijke gegevens en rekenbronnen. De toepassing van taalmodellen op mobiele apparaten wordt echter geconfronteerd met enorme uitdagingen op het gebied van reken- en geheugenkosten, waardoor er dringend behoefte is aan kleine taalmodellen met hoge prestaties. Beperkt door het zeer complexe trainingsproces, zijn er veel details voor het optimaliseren van taalmodellen die zelden zorgvuldig zijn bestudeerd. In deze studie, gebaseerd op een klein taalmodel met 1B parameters, ontwerpen we zorgvuldig een reeks empirische studies om het effect van elke component te analyseren. Drie perspectieven worden voornamelijk besproken, namelijk neurale architectuur, parameterinitialisatie en optimalisatiestrategie. Verschillende ontwerpformules worden empirisch bewezen bijzonder effectief te zijn voor kleine taalmodellen, waaronder tokenizercompressie, architectuuraanpassingen, parameterovererving en meervoudige trainingsrondes. Vervolgens trainen we PanGu-pi-1B Pro en PanGu-pi-1.5B Pro op 1.6T meertalige corpora, volgens de vastgestelde formules. Experimentele resultaten tonen aan dat de verbeterde optimalisatie en architectuur een opmerkelijke gemiddelde verbetering van 8.87 opleveren op benchmark-evaluatiesets voor PanGu-pi-1B Pro. Daarnaast overtreft PanGu-pi-1.5B Pro een reeks SOTA-modellen met grotere modelgroottes, wat de superieure prestaties valideert. De code zal binnenkort worden vrijgegeven (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).