PLaD: Präferenzbasierte Große Sprachmodell-Destillation mit Pseudo-Präferenz-Paaren

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Autoren: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in verschiedenen Aufgaben gezeigt, doch ihre umfangreichen Parametergrößen beschränken ihre Anwendbarkeit in ressourcenbeschränkten Umgebungen. Das Verfahren des Wissensdurchdringens (KD) bietet eine praktikable Lösung, indem Expertenwissen von großen Lehrmodellen auf kompakte Schülermodelle übertragen wird. Allerdings stehen traditionelle KD-Techniken vor spezifischen Herausforderungen, wenn sie auf LLMs angewendet werden, darunter eingeschränkter Zugriff auf LLM-Ausgaben, signifikante Lehr-Schüler-Kapazitätsunterschiede und das vererbte Misskalibrierungsproblem. In dieser Arbeit präsentieren wir PLaD, ein neuartiges präferenzbasiertes LLM-Destillationsframework. PLaD nutzt die Diskrepanz in der Lehr-Schüler-Kapazität, um Pseudo-Präferenzpaare zu generieren, bei denen Lehrerausgaben den Schülerausgaben vorgezogen werden. Anschließend verwendet PLaD einen Rangverlust, um die Schätzung der Sequenzwahrscheinlichkeit des Schülers neu zu kalibrieren, was den Fokus des Schülers darauf lenkt, die relative Qualität der Ausgaben zu verstehen, anstatt einfach den Lehrer zu imitieren. PLaD umgeht die Notwendigkeit des Zugriffs auf die internen Zustände des Lehrer-LLMs, bewältigt die Ausdrucksbeschränkungen des Schülers und mildert das Problem der Schüler-Misskalibrierung. Durch umfangreiche Experimente in zwei Sequenzgenerierungsaufgaben und mit verschiedenen LLMs zeigen wir die Wirksamkeit unseres vorgeschlagenen PLaD-Frameworks.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.