Kennisdistillatie van Grote Taalmodellen

Knowledge Distillation of Large Language Models

June 14, 2023

Auteurs: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

cs.AI

Samenvatting

Knowledge Distillation (KD) is een veelbelovende techniek om de hoge computationale eisen van grote taalmodellen (LLMs) te verminderen. Echter zijn vorige KD-methoden voornamelijk toegepast op white-box classificatiemodellen of het trainen van kleine modellen om black-box model-API's zoals ChatGPT na te bootsen. Hoe effectief kennis kan worden gedistilleerd uit white-box generatieve LLMs is nog steeds onderbelicht, wat steeds belangrijker wordt met de opkomst van LLMs. In dit werk stellen we MiniLLM voor, dat kleinere taalmodellen distilleert uit grotere generatieve taalmodellen. We vervangen eerst de forward Kullback-Leibler-divergentie (KLD) doelstelling in de standaard KD-benaderingen door reverse KLD, die beter geschikt is voor KD op generatieve taalmodellen, om te voorkomen dat het studentmodel de lage-waarschijnlijkheidsregio's van de leraarverdeling overschat. Vervolgens leiden we een effectieve optimalisatiebenadering af om dit doel te leren. Uitgebreide experimenten in de instructie-volgende setting tonen aan dat de MiniLLM-modellen nauwkeurigere reacties genereren met een hogere algehele kwaliteit, lagere exposure bias, betere kalibratie en betere prestaties bij het genereren van lange teksten. Onze methode is ook schaalbaar voor verschillende modelfamilies met 120M tot 13B parameters. We zullen onze code en modelcheckpoints vrijgeven op https://aka.ms/MiniLLM.

English

Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge from white-box generative LLMs is still under-explored, which becomes more and more important with the prosperity of LLMs. In this work, we propose MiniLLM that distills smaller language models from generative larger language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. Extensive experiments in the instruction-following setting show that the MiniLLM models generate more precise responses with the higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance. Our method is also scalable for different model families with 120M to 13B parameters. We will release our code and model checkpoints at https://aka.ms/MiniLLM.