PLaD: Distilación de Modelos de Lenguaje de Gran Escala Basada en Preferencias con Pares de Pseudo-Preferencias

PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs

June 5, 2024

Autores: Rongzhi Zhang, Jiaming Shen, Tianqi Liu, Haorui Wang, Zhen Qin, Feng Han, Jialu Liu, Simon Baumgartner, Michael Bendersky, Chao Zhang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades impresionantes en diversas tareas, aunque sus enormes tamaños de parámetros limitan su aplicabilidad en entornos con recursos restringidos. La destilación de conocimiento (KD, por sus siglas en inglés) ofrece una solución viable al transferir la experiencia de modelos grandes (maestros) a modelos compactos (estudiantes). Sin embargo, las técnicas tradicionales de KD enfrentan desafíos específicos cuando se aplican a LLMs, incluyendo el acceso restringido a las salidas de los LLMs, brechas significativas en la capacidad entre maestro y estudiante, y el problema heredado de mala calibración. En este trabajo, presentamos PLaD, un novedoso marco de destilación de LLMs basado en preferencias. PLaD aprovecha la discrepancia en la capacidad entre maestro y estudiante para generar pares de preferencias pseudoetiquetados, donde las salidas del maestro se prefieren sobre las del estudiante. Luego, PLaD utiliza una función de pérdida basada en ranking para recalibrar la estimación del estudiante sobre la probabilidad de secuencias, lo que dirige el enfoque del estudiante hacia la comprensión de la calidad relativa de las salidas en lugar de simplemente imitar al maestro. PLaD evita la necesidad de acceder a los estados internos del LLM maestro, aborda las limitaciones de expresividad del estudiante y mitiga el problema de mala calibración del estudiante. A través de experimentos exhaustivos en dos tareas de generación de secuencias y con diversos LLMs, demostramos la efectividad de nuestro marco propuesto, PLaD.

English

Large Language Models (LLMs) have exhibited impressive capabilities in various tasks, yet their vast parameter sizes restrict their applicability in resource-constrained settings. Knowledge distillation (KD) offers a viable solution by transferring expertise from large teacher models to compact student models. However, traditional KD techniques face specific challenges when applied to LLMs, including restricted access to LLM outputs, significant teacher-student capacity gaps, and the inherited mis-calibration issue. In this work, we present PLaD, a novel preference-based LLM distillation framework. PLaD exploits the teacher-student capacity discrepancy to generate pseudo-preference pairs where teacher outputs are preferred over student outputs. Then, PLaD leverages a ranking loss to re-calibrate student's estimation of sequence likelihood, which steers the student's focus towards understanding the relative quality of outputs instead of simply imitating the teacher. PLaD bypasses the need for access to teacher LLM's internal states, tackles the student's expressivity limitations, and mitigates the student mis-calibration issue. Through extensive experiments on two sequence generation tasks and with various LLMs, we demonstrate the effectiveness of our proposed PLaD framework.