Uma Análise da Destilação On-Policy para Modelos de Linguagem de Grande Porte
A Survey of On-Policy Distillation for Large Language Models
April 1, 2026
Autores: Mingyang Song, Mao Zheng
cs.AI
Resumo
A destilação de conhecimento tornou-se um mecanismo primário para transferir capacidades de raciocínio e expertise de domínio de Modelos de Linguagem de Grande Porte (LLMs) de fronteira para estudantes menores e implantáveis. No entanto, o paradigma dominante permanece *off-policy*: os estudantes treinam em dados estáticos gerados pelo professor e nunca encontram seus próprios erros durante o aprendizado. Esta incompatibilidade entre treino e teste, uma instância do *exposure bias*, faz com que os erros de predição se acumulem autoregressivamente no momento da inferência. A Destilação *On-Policy* (OPD) aborda este problema ao permitir que o estudante gere suas próprias trajetórias e receba *feedback* do professor sobre essas saídas auto-geradas, ancorando a destilação na teoria do aprendizado por imitação interativo. Apesar do rápido crescimento, abrangendo minimização de divergência, aprendizado guiado por recompensa e *self-play*, a literatura sobre OPD permanece fragmentada, sem um tratamento unificado. Este estudo fornece a primeira visão geral abrangente da OPD para LLMs. Introduzimos uma estrutura unificada de divergência-f sobre amostras *on-policy* e organizamos o panorama ao longo de três dimensões ortogonais: sinal de *feedback* (baseado em *logits*, baseado em resultado ou *self-play*), acesso ao professor (*white-box*, *black-box* ou sem professor) e granularidade da perda (a nível de *token*, a nível de sequência ou híbrida). Analisamos sistematicamente métodos representativos, examinamos implantações industriais e identificamos problemas em aberto, incluindo leis de escala na destilação, *feedback* consciente da incerteza e destilação a nível de agente.
English
Knowledge distillation has become a primary mechanism for transferring reasoning and domain expertise from frontier Large Language Models (LLMs) to smaller, deployable students. However, the dominant paradigm remains off-policy: students train on static teacher-generated data and never encounter their own errors during learning. This train--test mismatch, an instance of exposure bias, causes prediction errors to compound autoregressively at inference time. On-Policy Distillation (OPD) addresses this by letting the student generate its own trajectories and receive teacher feedback on these self-generated outputs, grounding distillation in the theory of interactive imitation learning. Despite rapid growth spanning divergence minimization, reward-guided learning, and self-play, the OPD literature remains fragmented with no unified treatment. This survey provides the first comprehensive overview of OPD for LLMs. We introduce a unified f-divergence framework over on-policy samples and organize the landscape along three orthogonal dimensions: feedback signal (logit-based, outcome-based, or self-play), teacher access (white-box, black-box, or teacher-free), and loss granularity (token-level, sequence-level, or hybrid). We systematically analyze representative methods, examine industrial deployments, and identify open problems including distillation scaling laws, uncertainty-aware feedback, and agent-level distillation.