PLaD: Distillamento di Modelli Linguistici di Grande Dimensione Basato su Preferenze con Coppie di Pseudo-Preferenze

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Autori: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità impressionanti in vari compiti, tuttavia le loro dimensioni parametriche estese ne limitano l'applicabilità in contesti con risorse limitate. La distillazione della conoscenza (KD) offre una soluzione praticabile trasferendo l'esperienza da modelli insegnanti di grandi dimensioni a modelli studenti compatti. Tuttavia, le tecniche tradizionali di KD affrontano sfide specifiche quando applicate agli LLM, tra cui l'accesso limitato agli output degli LLM, significativi divari di capacità tra insegnante e studente, e il problema ereditato della scorretta calibrazione. In questo lavoro, presentiamo PLaD, un nuovo framework di distillazione degli LLM basato sulle preferenze. PLaD sfrutta la discrepanza di capacità tra insegnante e studente per generare coppie di pseudo-preferenze in cui gli output dell'insegnante sono preferiti rispetto a quelli dello studente. Successivamente, PLaD utilizza una funzione di perdita basata sul ranking per ri-calibrare la stima della probabilità di sequenza dello studente, orientando così l'attenzione dello studente verso la comprensione della qualità relativa degli output invece di limitarsi a imitare l'insegnante. PLaD evita la necessità di accedere agli stati interni dell'LLM insegnante, affronta le limitazioni di espressività dello studente e mitiga il problema della scorretta calibrazione dello studente. Attraverso esperimenti estesi su due compiti di generazione di sequenze e con vari LLM, dimostriamo l'efficacia del nostro framework PLaD proposto.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.