DDK : Distillation des connaissances du domaine pour des modèles de langage efficaces

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Auteurs: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Résumé

Malgré les capacités d'intelligence avancées des grands modèles de langage (LLMs) dans diverses applications, ils continuent de faire face à des exigences significatives en termes de calcul et de stockage. La distillation de connaissances (KD) est apparue comme une stratégie efficace pour améliorer les performances d'un LLM plus petit (c'est-à-dire le modèle étudiant) en transférant les connaissances d'un LLM hautement performant (c'est-à-dire le modèle enseignant). Les techniques prédominantes dans la distillation des LLMs utilisent généralement une API de modèle en boîte noire pour générer des ensembles de données pré-entraînés et alignés de haute qualité, ou exploitent la distillation en boîte blanche en modifiant la fonction de perte pour mieux transférer les connaissances du LLM enseignant. Cependant, ces méthodes ignorent les différences de connaissances entre les LLMs étudiant et enseignant à travers les domaines. Cela entraîne une attention excessive sur les domaines avec des écarts de performance minimes et une attention insuffisante sur les domaines avec des écarts importants, réduisant ainsi la performance globale. Dans cet article, nous introduisons un nouveau cadre de distillation de LLM appelé DDK, qui ajuste dynamiquement la composition de l'ensemble de données de distillation de manière fluide en fonction des différences de performance entre les modèles enseignant et étudiant, rendant le processus de distillation plus stable et efficace. Des évaluations approfondies montrent que DDK améliore significativement les performances des modèles étudiants, surpassant à la fois les bases de référence pré-entraînées en continu et les méthodes existantes de distillation de connaissances par une large marge.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.