DDK: Domeinkennis destilleren voor efficiënte grote taalmodelen

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Auteurs: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Samenvatting

Ondanks de geavanceerde intelligentiecapaciteiten van grote taalmodellen (LLM's) in diverse toepassingen, kampen ze nog steeds met aanzienlijke reken- en opslageisen. Kennisdistillatie (KD) is naar voren gekomen als een effectieve strategie om de prestaties van een kleiner LLM (d.w.z. het studentmodel) te verbeteren door kennis over te dragen van een hoogpresterend LLM (d.w.z. het leraarmodel). Gangbare technieken in LLM-distillatie gebruiken doorgaans een black-box model-API om hoogwaardige vooraf getrainde en uitgelijnde datasets te genereren, of maken gebruik van white-box distillatie door de verliesfunctie aan te passen om kennis beter over te dragen van het leraar-LLM. Deze methoden negeren echter de kennisverschillen tussen het student- en leraar-LLM over verschillende domeinen. Dit resulteert in een overmatige focus op domeinen met minimale prestatieverschillen en onvoldoende aandacht voor domeinen met grote verschillen, wat de algehele prestaties vermindert. In dit artikel introduceren we een nieuw LLM-distillatiekader genaamd DDK, dat de samenstelling van de distillatiedataset op een soepele manier dynamisch aanpast op basis van de domeinprestatieverschillen tussen het leraar- en studentmodel, waardoor het distillatieproces stabieler en effectiever wordt. Uitgebreide evaluaties tonen aan dat DDK de prestaties van studentmodellen aanzienlijk verbetert en zowel continu voorgetrainde basislijnen als bestaande kennisdistillatiemethoden met een grote marge overtreft.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.