DDK: Destilando Conhecimento de Domínio para Modelos de Linguagem Grandes Eficientes

DDK: Distilling Domain Knowledge for Efficient Large Language Models

July 23, 2024

Autores: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

cs.AI

Resumo

Apesar das avançadas habilidades de inteligência dos grandes modelos de linguagem (LLMs) em várias aplicações, eles ainda enfrentam demandas significativas de computação e armazenamento. A Destilação de Conhecimento (KD) surgiu como uma estratégia eficaz para melhorar o desempenho de um LLM menor (ou seja, o modelo aluno) transferindo conhecimento de um LLM de alto desempenho (ou seja, o modelo professor). As técnicas predominantes na destilação de LLM geralmente utilizam uma API de modelo de caixa-preta para gerar conjuntos de dados pré-treinados e alinhados de alta qualidade, ou utilizam a destilação de caixa-branca alterando a função de perda para transferir melhor o conhecimento do LLM professor. No entanto, esses métodos ignoram as diferenças de conhecimento entre os LLMs aluno e professor em diferentes domínios. Isso resulta em um foco excessivo em domínios com lacunas de desempenho mínimas e atenção insuficiente a domínios com grandes lacunas, reduzindo o desempenho geral. Neste artigo, apresentamos um novo framework de destilação de LLM chamado DDK, que ajusta dinamicamente a composição do conjunto de dados de destilação de maneira suave de acordo com as diferenças de desempenho de domínio entre os modelos professor e aluno, tornando o processo de destilação mais estável e eficaz. Avaliações extensivas mostram que o DDK melhora significativamente o desempenho dos modelos alunos, superando tanto as linhas de base continuamente pré-treinadas quanto os métodos de destilação de conhecimento existentes por uma margem significativa.

English

Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.