PLaD: Preference-gebaseerde Distillatie van Grote Taalmodellen met Pseudo-Preference Paren

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Auteurs: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben indrukwekkende capaciteiten getoond in verschillende taken, maar hun enorme parameteraantallen beperken hun toepasbaarheid in omgevingen met beperkte middelen. Kennisdistillatie (KD) biedt een haalbare oplossing door expertise over te dragen van grote leraarmodellen naar compacte studentmodellen. Traditionele KD-technieken staan echter voor specifieke uitdagingen wanneer ze worden toegepast op LLMs, waaronder beperkte toegang tot LLM-uitvoer, aanzienlijke capaciteitsverschillen tussen leraar en student, en het inherente miskalibratieprobleem. In dit werk presenteren we PLaD, een nieuw voorkeursgebaseerd LLM-distillatieraamwerk. PLaD benut het capaciteitsverschil tussen leraar en student om pseudo-voorkeursparen te genereren waarbij leraaruitvoer de voorkeur krijgt boven studentuitvoer. Vervolgens maakt PLaD gebruik van een rangschikkingsverlies om de schatting van sequentiewaarschijnlijkheid door de student te herkalibreren, wat de focus van de student richt op het begrijpen van de relatieve kwaliteit van uitvoer in plaats van simpelweg de leraar na te bootsen. PLaD omzeilt de noodzaak van toegang tot de interne toestanden van het leraar-LLM, pakt de expressiviteitsbeperkingen van de student aan en vermindert het miskalibratieprobleem van de student. Door uitgebreide experimenten op twee sequentiegeneratietaken en met verschillende LLMs, demonstreren we de effectiviteit van ons voorgestelde PLaD-raamwerk.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.