Distilación de Conocimiento en Modelos de Lenguaje a Gran Escala

Knowledge Distillation of Large Language Models

June 14, 2023

Autores: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

cs.AI

Resumen

La Distilación de Conocimiento (KD, por sus siglas en inglés) es una técnica prometedora para reducir la alta demanda computacional de los modelos de lenguaje grandes (LLMs). Sin embargo, los métodos anteriores de KD se aplican principalmente a modelos de clasificación de caja blanca o al entrenamiento de modelos pequeños para imitar APIs de modelos de caja negra como ChatGPT. Cómo destilar efectivamente el conocimiento de LLMs generativos de caja blanca sigue siendo un área poco explorada, lo cual se vuelve cada vez más importante con el auge de los LLMs. En este trabajo, proponemos MiniLLM, que destila modelos de lenguaje más pequeños a partir de modelos de lenguaje generativos más grandes. Primero, reemplazamos el objetivo de divergencia de Kullback-Leibler (KLD) directa en los enfoques estándar de KD con KLD inversa, que es más adecuada para la KD en modelos de lenguaje generativos, para evitar que el modelo estudiante sobreestime las regiones de baja probabilidad de la distribución del modelo maestro. Luego, derivamos un enfoque de optimización efectivo para aprender este objetivo. Experimentos extensos en el contexto de seguimiento de instrucciones muestran que los modelos MiniLLM generan respuestas más precisas con una calidad general más alta, menor sesgo de exposición, mejor calibración y un mayor rendimiento en la generación de textos largos. Nuestro método también es escalable para diferentes familias de modelos con parámetros que van desde 120M hasta 13B. Publicaremos nuestro código y puntos de control del modelo en https://aka.ms/MiniLLM.

English

Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge from white-box generative LLMs is still under-explored, which becomes more and more important with the prosperity of LLMs. In this work, we propose MiniLLM that distills smaller language models from generative larger language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. Extensive experiments in the instruction-following setting show that the MiniLLM models generate more precise responses with the higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance. Our method is also scalable for different model families with 120M to 13B parameters. We will release our code and model checkpoints at https://aka.ms/MiniLLM.