Distillazione della Conoscenza nei Modelli Linguistici di Grandi Dimensioni

Knowledge Distillation of Large Language Models

June 14, 2023

Autori: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

cs.AI

Abstract

La Distillazione della Conoscenza (Knowledge Distillation, KD) è una tecnica promettente per ridurre l'elevata domanda computazionale dei grandi modelli linguistici (Large Language Models, LLMs). Tuttavia, i precedenti metodi di KD sono principalmente applicati a modelli di classificazione white-box o all'addestramento di modelli più piccoli per imitare API di modelli black-box come ChatGPT. Come distillare efficacemente la conoscenza da LLM generativi white-box è ancora poco esplorato, e diventa sempre più importante con la proliferazione degli LLM. In questo lavoro, proponiamo MiniLLM, che distilla modelli linguistici più piccoli da LLM generativi più grandi. Innanzitutto, sostituiamo l'obiettivo della divergenza di Kullback-Leibler (KLD) diretta negli approcci standard di KD con la KLD inversa, che è più adatta per la KD su modelli linguistici generativi, per evitare che il modello studente sovrastimi le regioni a bassa probabilità della distribuzione del modello insegnante. Successivamente, deriviamo un approccio di ottimizzazione efficace per apprendere questo obiettivo. Esperimenti estesi in contesti di seguimento delle istruzioni dimostrano che i modelli MiniLLM generano risposte più precise con una qualità complessiva superiore, un bias di esposizione inferiore, una migliore calibrazione e prestazioni migliori nella generazione di testi lunghi. Il nostro metodo è anche scalabile per diverse famiglie di modelli con parametri che vanno da 120M a 13B. Rilasceremo il nostro codice e i checkpoint dei modelli su https://aka.ms/MiniLLM.

English

Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge from white-box generative LLMs is still under-explored, which becomes more and more important with the prosperity of LLMs. In this work, we propose MiniLLM that distills smaller language models from generative larger language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. Extensive experiments in the instruction-following setting show that the MiniLLM models generate more precise responses with the higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance. Our method is also scalable for different model families with 120M to 13B parameters. We will release our code and model checkpoints at https://aka.ms/MiniLLM.