DDK: Destilación del Conocimiento del Dominio para Modelos de Lenguaje Grandes Eficientes

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Autores: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Resumen

A pesar de las avanzadas capacidades de inteligencia de los grandes modelos de lenguaje (LLMs) en diversas aplicaciones, todavía enfrentan demandas significativas de computación y almacenamiento. La Destilación de Conocimiento (KD) ha surgido como una estrategia efectiva para mejorar el rendimiento de un LLM más pequeño (es decir, el modelo estudiante) transfiriendo conocimiento de un LLM de alto rendimiento (es decir, el modelo profesor). Las técnicas predominantes en la destilación de LLM generalmente utilizan una API de modelo de caja negra para generar conjuntos de datos preentrenados y alineados de alta calidad, o utilizan destilación de caja blanca modificando la función de pérdida para transferir mejor el conocimiento del LLM profesor. Sin embargo, estos métodos ignoran las diferencias de conocimiento entre los LLM estudiante y profesor a través de dominios. Esto resulta en un enfoque excesivo en dominios con brechas de rendimiento mínimas y una atención insuficiente en dominios con brechas grandes, reduciendo el rendimiento general. En este documento, presentamos un nuevo marco de destilación de LLM llamado DDK, que ajusta dinámicamente la composición del conjunto de datos de destilación de manera suave según las diferencias de rendimiento de dominio entre los modelos profesor y estudiante, haciendo que el proceso de destilación sea más estable y efectivo. Evaluaciones extensas muestran que DDK mejora significativamente el rendimiento de los modelos estudiantes, superando tanto a líneas base continuamente preentrenadas como a los métodos de destilación de conocimiento existentes por un amplio margen.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.