PLaD: Дистилляция крупной языковой модели на основе предпочтений с псевдопары предпочтений

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Авторы: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Аннотация

Большие языковые модели (LLM) проявили впечатляющие возможности в различных задачах, однако их огромный размер параметров ограничивает их применимость в условиях ограниченных ресурсов. Дистилляция знаний (KD) предлагает жизнеспособное решение путем передачи экспертизы от крупных учителей к компактным студенческим моделям. Однако традиционные методы KD сталкиваются с конкретными проблемами при применении к LLM, включая ограниченный доступ к выходам LLM, значительные разрывы в емкости учителя и студента, а также унаследованную проблему неправильной калибровки. В данной работе мы представляем PLaD, новую рамку дистилляции LLM на основе предпочтений. PLaD использует различие в емкости учителя и студента для генерации псевдопар предпочтений, где выходы учителя предпочтительнее выходов студента. Затем PLaD использует функцию потерь ранжирования для повторной калибровки оценки последовательности студента, направляя внимание студента на понимание относительного качества выходов, а не просто на подражание учителю. PLaD обходит необходимость доступа к внутренним состояниям LLM учителя, решает ограничения выразительности студента и уменьшает проблему неправильной калибровки студента. Через обширные эксперименты на двух задачах генерации последовательностей с различными LLM мы демонстрируем эффективность нашей предложенной рамки PLaD.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.