Distillazione Ibrida delle Politiche per LLM
Hybrid Policy Distillation for LLMs
April 22, 2026
Autori: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu
cs.AI
Abstract
La distillazione della conoscenza (KD) è un paradigma potente per comprimere i grandi modelli linguistici (LLM), la cui efficacia dipende da scelte interconnesse di direzione di divergenza, strategia di ottimizzazione e regime dei dati. Scomponiamo la progettazione dei metodi KD esistenti e presentiamo una visione unificata che stabilisce connessioni tra di essi, riformulando la KD come un obiettivo di verosimiglianza logaritmica ponderata a livello di token. Proponiamo inoltre la Distillazione Ibrida delle Politiche (HPD), che integra i vantaggi complementari della KL forward e reverse per bilanciare la copertura dei modi e la ricerca dei modi, e combina dati off-policy con un campionamento on-policy approssimato e leggero. Convalidiamo l'HPD su ragionamenti matematici a generazione lunga, nonché su compiti di dialogo e codice a generazione corta, dimostrando una migliore stabilità di ottimizzazione, efficienza computazionale e prestazioni finali attraverso diverse famiglie e scale di modelli. Il codice relativo a questo lavoro è disponibile all'indirizzo https://github.com/zwhong714/Hybrid-Policy-Distillation.
English
Knowledge distillation (KD) is a powerful paradigm for compressing large language models (LLMs), whose effectiveness depends on intertwined choices of divergence direction, optimization strategy, and data regime. We break down the design of existing KD methods and present a unified view that establishes connections between them, reformulating KD as a reweighted log-likelihood objective at the token level. We further propose Hybrid Policy Distillation (HPD), which integrates the complementary advantages of forward and reverse KL to balance mode coverage and mode-seeking, and combines off-policy data with lightweight, approximate on-policy sampling. We validate HPD on long-generation math reasoning as well as short-generation dialogue and code tasks, demonstrating improved optimization stability, computational efficiency, and final performance across diverse model families and scales. The code related to this work is available at https://github.com/zwhong714/Hybrid-Policy-Distillation.