Дистилляция знаний крупных языковых моделей

Knowledge Distillation of Large Language Models

June 14, 2023

Авторы: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

cs.AI

Аннотация

Дистилляция знаний (Knowledge Distillation, KD) является перспективной техникой для снижения высоких вычислительных затрат крупных языковых моделей (LLM). Однако предыдущие методы KD в основном применялись к белым ящикам классификационных моделей или для обучения небольших моделей, имитирующих API черных ящиков, таких как ChatGPT. Вопрос о том, как эффективно дистиллировать знания из белых ящиков генеративных LLM, остается недостаточно изученным, что становится все более важным с развитием LLM. В данной работе мы предлагаем MiniLLM — метод дистилляции меньших языковых моделей из генеративных крупных языковых моделей. Сначала мы заменяем целевую функцию прямого расхождения Кульбака-Лейблера (KLD) в стандартных подходах KD на обратное KLD, которое более подходит для дистилляции на генеративных языковых моделях, чтобы предотвратить переоценку студенческой моделью областей с низкой вероятностью в распределении учителя. Затем мы выводим эффективный метод оптимизации для обучения этой целевой функции. Многочисленные эксперименты в условиях следования инструкциям показывают, что модели MiniLLM генерируют более точные ответы с более высоким общим качеством, меньшим смещением экспозиции, лучшей калибровкой и более высокой производительностью при генерации длинных текстов. Наш метод также масштабируем для различных семейств моделей с параметрами от 120 млн до 13 млрд. Мы опубликуем наш код и контрольные точки моделей по адресу https://aka.ms/MiniLLM.

English

Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge from white-box generative LLMs is still under-explored, which becomes more and more important with the prosperity of LLMs. In this work, we propose MiniLLM that distills smaller language models from generative larger language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. Extensive experiments in the instruction-following setting show that the MiniLLM models generate more precise responses with the higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance. Our method is also scalable for different model families with 120M to 13B parameters. We will release our code and model checkpoints at https://aka.ms/MiniLLM.