Distillation de connaissances des grands modèles de langage

Knowledge Distillation of Large Language Models

June 14, 2023

Auteurs: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

cs.AI

Résumé

La distillation de connaissances (Knowledge Distillation, KD) est une technique prometteuse pour réduire la forte demande computationnelle des grands modèles de langage (Large Language Models, LLMs). Cependant, les méthodes de KD précédentes sont principalement appliquées à des modèles de classification en boîte blanche ou à l'entraînement de petits modèles pour imiter des API de modèles en boîte noire comme ChatGPT. La manière de distiller efficacement les connaissances à partir de LLMs génératifs en boîte blanche reste encore peu explorée, ce qui devient de plus en plus important avec la prolifération des LLMs. Dans ce travail, nous proposons MiniLLM, qui distille des modèles de langage plus petits à partir de LLMs génératifs plus grands. Nous remplaçons d'abord l'objectif de divergence de Kullback-Leibler (KLD) directe dans les approches standard de KD par une KLD inverse, plus adaptée à la KD sur les modèles de langage génératifs, afin d'éviter que le modèle étudiant surestime les régions de faible probabilité de la distribution du modèle enseignant. Ensuite, nous dérivons une approche d'optimisation efficace pour apprendre cet objectif. Des expériences approfondies dans le cadre de suivi d'instructions montrent que les modèles MiniLLM génèrent des réponses plus précises avec une qualité globale supérieure, un biais d'exposition réduit, une meilleure calibration et de meilleures performances en génération de textes longs. Notre méthode est également scalable pour différentes familles de modèles avec des paramètres allant de 120M à 13B. Nous publierons notre code et nos points de contrôle de modèle à l'adresse https://aka.ms/MiniLLM.

English

Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge from white-box generative LLMs is still under-explored, which becomes more and more important with the prosperity of LLMs. In this work, we propose MiniLLM that distills smaller language models from generative larger language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. Extensive experiments in the instruction-following setting show that the MiniLLM models generate more precise responses with the higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance. Our method is also scalable for different model families with 120M to 13B parameters. We will release our code and model checkpoints at https://aka.ms/MiniLLM.