Repensando a Otimização e a Arquitetura para Modelos de Linguagem Compactos

Rethinking Optimization and Architecture for Tiny Language Models

February 5, 2024

Autores: Yehui Tang, Fangcheng Liu, Yunsheng Ni, Yuchuan Tian, Zheyuan Bai, Yi-Qi Hu, Sichao Liu, Shangling Jui, Kai Han, Yunhe Wang

cs.AI

Resumo

O poder dos grandes modelos de linguagem (LLMs) tem sido demonstrado por meio de numerosos recursos de dados e computação. No entanto, a aplicação de modelos de linguagem em dispositivos móveis enfrenta um grande desafio em relação aos custos de computação e memória, ou seja, modelos de linguagem compactos com alto desempenho são urgentemente necessários. Limitados pelo processo de treinamento altamente complexo, há muitos detalhes para otimizar modelos de linguagem que raramente são estudados cuidadosamente. Neste estudo, com base em um modelo de linguagem compacto com 1 bilhão de parâmetros, projetamos cuidadosamente uma série de estudos empíricos para analisar o efeito de cada componente. Três perspectivas são principalmente discutidas, ou seja, arquitetura neural, inicialização de parâmetros e estratégia de otimização. Várias fórmulas de design são empiricamente comprovadas como especialmente eficazes para modelos de linguagem compactos, incluindo compressão de tokenizador, ajustes de arquitetura, herança de parâmetros e treinamento em múltiplas rodadas. Em seguida, treinamos o PanGu-pi-1B Pro e o PanGu-pi-1.5B Pro em corpora multilingues de 1,6T, seguindo as fórmulas estabelecidas. Os resultados experimentais demonstram que a otimização e a arquitetura aprimoradas resultam em uma melhoria média notável de 8,87 em conjuntos de avaliação de benchmark para o PanGu-pi-1B Pro. Além disso, o PanGu-pi-1.5B Pro supera uma série de modelos SOTA com tamanhos maiores, validando seu desempenho superior. O código será lançado em breve (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).