DDK: Извлечение Доменных Знаний для Эффективных Больших Языковых Моделей

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Авторы: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Аннотация

Несмотря на продвинутые возможности интеллекта крупных моделей языка (LLM) в различных приложениях, они все еще сталкиваются с значительными вычислительными и объемными требованиями. Дистилляция знаний (KD) стала эффективной стратегией для улучшения производительности более маленькой LLM (т.е. модели ученика) путем передачи знаний от высокопроизводительной LLM (т.е. модели учителя). Преобладающие техники дистилляции LLM обычно используют черный ящик API модели для создания качественных предварительно обученных и выровненных наборов данных, или применяют дистилляцию белого ящика, изменяя функцию потерь для более эффективной передачи знаний от учителя LLM. Однако эти методы не учитывают различия в знаниях между LLM ученика и учителя в различных областях. Это приводит к излишнему фокусу на области с минимальными разрывами в производительности и недостаточному вниманию к областям с большими разрывами, что снижает общую производительность. В данной статье мы представляем новую рамку дистилляции LLM под названием DDK, которая динамически корректирует состав набора данных дистилляции плавным образом в соответствии с различиями в производительности областей между моделями учителя и ученика, делая процесс дистилляции более стабильным и эффективным. Обширные оценки показывают, что DDK значительно улучшает производительность моделей учеников, превосходя как непрерывно предварительно обученные базовые модели, так и существующие методы дистилляции знаний с большим отрывом.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.