PLaD: Distilação de Modelos de Linguagem de Grande Escala Baseada em Preferências com Pares de Pseudo-Preferências

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Autores: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado capacidades impressionantes em diversas tarefas, mas seus vastos tamanhos de parâmetros limitam sua aplicabilidade em ambientes com recursos restritos. A destilação de conhecimento (KD) oferece uma solução viável ao transferir expertise de modelos professores grandes para modelos estudantes compactos. No entanto, técnicas tradicionais de KD enfrentam desafios específicos quando aplicadas a LLMs, incluindo acesso restrito às saídas dos LLMs, grandes lacunas de capacidade entre professor e estudante, e o problema herdado de má-calibração. Neste trabalho, apresentamos o PLaD, uma nova estrutura de destilação de LLMs baseada em preferências. O PLaD explora a discrepância de capacidade entre professor e estudante para gerar pares de pseudo-preferências, onde as saídas do professor são preferidas em relação às saídas do estudante. Em seguida, o PLaD utiliza uma função de perda de classificação para recalibrar a estimativa de probabilidade de sequência do estudante, direcionando o foco do estudante para compreender a qualidade relativa das saídas, em vez de simplesmente imitar o professor. O PLaD dispensa a necessidade de acesso aos estados internos do LLM professor, aborda as limitações de expressividade do estudante e mitiga o problema de má-calibração do estudante. Por meio de extensos experimentos em duas tarefas de geração de sequência e com vários LLMs, demonstramos a eficácia da nossa estrutura PLaD proposta.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.