DDK: Distillazione della Conoscenza di Dominio per Modelli Linguistici di Grandi Dimensioni Efficienti

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Autori: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Abstract

Nonostante le avanzate capacità intellettive dei grandi modelli linguistici (LLM) in varie applicazioni, essi continuano a presentare significative esigenze computazionali e di archiviazione. La Distillazione della Conoscenza (KD) è emersa come una strategia efficace per migliorare le prestazioni di un LLM più piccolo (cioè, il modello studente) trasferendo conoscenza da un LLM ad alte prestazioni (cioè, il modello insegnante). Le tecniche prevalenti nella distillazione degli LLM utilizzano tipicamente un'API di modello black-box per generare dataset pre-addestrati e allineati di alta qualità, o impiegano la distillazione white-box modificando la funzione di perdita per trasferire meglio la conoscenza dal LLM insegnante. Tuttavia, questi metodi ignorano le differenze di conoscenza tra i LLM studente e insegnante attraverso i domini. Ciò si traduce in un'eccessiva focalizzazione sui domini con gap di prestazioni minimi e un'attenzione insufficiente ai domini con gap ampi, riducendo le prestazioni complessive. In questo articolo, introduciamo un nuovo framework di distillazione LLM chiamato DDK, che regola dinamicamente la composizione del dataset di distillazione in modo fluido in base alle differenze di prestazioni tra i modelli insegnante e studente, rendendo il processo di distillazione più stabile ed efficace. Valutazioni estensive dimostrano che DDK migliora significativamente le prestazioni dei modelli studente, superando di gran lunga sia i baseline pre-addestrati in modo continuativo che i metodi esistenti di distillazione della conoscenza.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.