DDK: Destillierung von Domänenwissen für effiziente große Sprachmodelle

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Autoren: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Zusammenfassung

Trotz der fortgeschrittenen Intelligenzfähigkeiten großer Sprachmodelle (LLMs) in verschiedenen Anwendungen stehen sie immer noch vor erheblichen Rechen- und Speicheranforderungen. Das Konzept des Wissensabgleichs (KD) hat sich als effektive Strategie zur Verbesserung der Leistung eines kleineren LLM (d. h. des Schülermodells) durch die Übertragung von Wissen von einem leistungsstarken LLM (d. h. des Lehrermodells) herauskristallisiert. Gängige Techniken beim Abgleich von LLMs verwenden in der Regel eine Black-Box-Modell-API, um hochwertige vorab trainierte und abgestimmte Datensätze zu generieren, oder setzen auf White-Box-Abgleich durch Anpassung der Verlustfunktion, um das Wissen vom Lehrer-LLM besser zu übertragen. Diese Methoden ignorieren jedoch die Wissensunterschiede zwischen dem Schüler- und Lehrer-LLM über verschiedene Bereiche hinweg. Dies führt zu einer übermäßigen Konzentration auf Bereiche mit geringen Leistungsunterschieden und unzureichender Beachtung von Bereichen mit großen Unterschieden, was die Gesamtleistung mindert. In diesem Artikel stellen wir ein neues LLM-Abgleichsframework namens DDK vor, das die Zusammensetzung des Abgleichsdatensatzes dynamisch und sanft anhand der Leistungsunterschiede zwischen den Lehrer- und Schülermodellen anpasst, um den Abgleichsprozess stabiler und effektiver zu gestalten. Umfangreiche Evaluationen zeigen, dass DDK die Leistung der Schülermodelle signifikant verbessert und sowohl kontinuierlich vorab trainierte Baselines als auch bestehende Wissensabgleichsmethoden bei weitem übertrifft.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.