Переосмысление оптимизации и архитектуры для компактных языковых моделей

Rethinking Optimization and Architecture for Tiny Language Models

February 5, 2024

Авторы: Yehui Tang, Fangcheng Liu, Yunsheng Ni, Yuchuan Tian, Zheyuan Bai, Yi-Qi Hu, Sichao Liu, Shangling Jui, Kai Han, Yunhe Wang

cs.AI

Аннотация

Мощь крупных языковых моделей (LLM) была продемонстрирована благодаря использованию значительных вычислительных ресурсов и объемов данных. Однако применение языковых моделей на мобильных устройствах сталкивается с серьезными вызовами, связанными с затратами на вычисления и память, что делает крайне необходимыми компактные языковые модели с высокой производительностью. Из-за сложности процесса обучения многие аспекты оптимизации языковых моделей остаются недостаточно изученными. В данном исследовании, основываясь на компактной языковой модели с 1 миллиардом параметров, мы тщательно разработали серию экспериментов для анализа влияния каждого компонента. Основное внимание уделено трем аспектам: архитектуре нейронной сети, инициализации параметров и стратегии оптимизации. Эмпирически доказана эффективность нескольких подходов, включая сжатие токенизатора, модификацию архитектуры, наследование параметров и многоэтапное обучение. Затем мы обучили модели PanGu-pi-1B Pro и PanGu-pi-1.5B Pro на 1.6 триллионах токенов многоязычных корпусов, следуя установленным принципам. Результаты экспериментов показывают, что улучшенная оптимизация и архитектура обеспечивают заметное повышение среднего показателя на 8.87 баллов на тестовых наборах для модели PanGu-pi-1B Pro. Кроме того, PanGu-pi-1.5B Pro превосходит ряд современных моделей с большим количеством параметров, подтверждая ее превосходную производительность. Код будет опубликован в ближайшее время (https://github.com/YuchuanTian/RethinkTinyLM).

English

The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, i.e., neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-pi-1B Pro and PanGu-pi-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-pi-1B Pro. Besides, PanGu-pi-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code will be released soon (https://github.com/YuchuanTian/RethinkTinyLM).