Обзор дистилляции по стратегии для больших языковых моделей

A Survey of On-Policy Distillation for Large Language Models

April 1, 2026

Авторы: Mingyang Song, Mao Zheng

cs.AI

Аннотация

Дистилляция знаний стала основным механизмом передачи способности к рассуждению и предметных знаний от передовых больших языковых моделей (LLM) к меньшим, развертываемым моделям-ученикам. Однако доминирующая парадигма остается внеполитической (off-policy): ученики обучаются на статических данных, сгенерированных учителем, и никогда не сталкиваются с собственными ошибками в процессе обучения. Это несоответствие между обучением и тестированием, являющееся случаем ошибки экспозиции (exposure bias), приводит к тому, что ошибки предсказания накапливаются авторегрессивно во время вывода. Дистилляция на основе политики (On-Policy Distillation, OPD) решает эту проблему, позволяя модели-ученику генерировать собственные траектории и получать обратную связь от учителя на основе этих самостоятельно сгенерированных выходных данных, обосновывая дистилляцию в теории интерактивного имитационного обучения. Несмотря на быстрый рост, охватывающий минимизацию расхождения, обучение с подкреплением и самоигру, литература по OPD остается разрозненной без единого подхода. Данный обзор представляет первое всестороннее описание OPD для больших языковых моделей. Мы вводим унифицированную f-дивергентную структуру над он-политическими выборками и систематизируем область по трем ортогональным измерениям: тип обратной связи (основанная на логитах, на результате или самоигра), доступ к учителю (белый ящик, черный ящик или без учителя) и гранулярность функции потерь (на уровне токена, последовательности или гибридная). Мы систематически анализируем репрезентативные методы, рассматриваем промышленные внедрения и определяем нерешенные проблемы, включая законы масштабирования дистилляции, неопределенность-осведомленную обратную связь и дистилляцию на уровне агента.

English

Knowledge distillation has become a primary mechanism for transferring reasoning and domain expertise from frontier Large Language Models (LLMs) to smaller, deployable students. However, the dominant paradigm remains off-policy: students train on static teacher-generated data and never encounter their own errors during learning. This train--test mismatch, an instance of exposure bias, causes prediction errors to compound autoregressively at inference time. On-Policy Distillation (OPD) addresses this by letting the student generate its own trajectories and receive teacher feedback on these self-generated outputs, grounding distillation in the theory of interactive imitation learning. Despite rapid growth spanning divergence minimization, reward-guided learning, and self-play, the OPD literature remains fragmented with no unified treatment. This survey provides the first comprehensive overview of OPD for LLMs. We introduce a unified f-divergence framework over on-policy samples and organize the landscape along three orthogonal dimensions: feedback signal (logit-based, outcome-based, or self-play), teacher access (white-box, black-box, or teacher-free), and loss granularity (token-level, sequence-level, or hybrid). We systematically analyze representative methods, examine industrial deployments, and identify open problems including distillation scaling laws, uncertainty-aware feedback, and agent-level distillation.