UniSD: К единому фреймворку самодистилляции для больших языковых моделей
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
May 7, 2026
Авторы: Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Josiah Hester, Jindong Wang, Srijan Kumar
cs.AI
Аннотация
Самодистилляция (SD) предлагает многообещающий путь для адаптации больших языковых моделей (LLMs) без опоры на более сильных внешних учителей. Однако SD в авторегрессионных LLM остается сложной задачей, поскольку самогенерируемые траектории имеют свободную форму, корректность зависит от задачи, а правдоподобные обоснования могут по-прежнему обеспечивать нестабильное или ненадежное обучение. Существующие методы в основном исследуют изолированные проектные решения, оставляя их эффективность, роли и взаимодействия неясными. В данной статье мы предлагаем UniSD – единую структуру для систематического изучения самодистилляции. UniSD интегрирует взаимодополняющие механизмы, направленные на надежность обучения, выравнивание представлений и стабильность тренировки, включая согласование нескольких учителей, стабилизацию учителя с помощью EMA, контрастивное обучение на уровне токенов, сопоставление признаков и ограничение дивергенции. На шести бенчмарках и шести моделях из трех семейств моделей UniSD показывает, когда самодистилляция превосходит статическую имитацию, какие компоненты обеспечивают улучшения и как эти компоненты взаимодействуют в разных задачах. Руководствуясь этими выводами, мы создаем UniSDfull – интегрированный пайплайн, объединяющий взаимодополняющие компоненты и достигающий наилучшей общей производительности: улучшение базовой модели на +5,4 балла и самого сильного базового метода на +2,8 балла. Обширное оценивание подчеркивает самодистилляцию как практичный и управляемый подход для эффективной адаптации LLM без более сильных внешних учителей.
English
Self-distillation (SD) offers a promising path for adapting large language models (LLMs) without relying on stronger external teachers. However, SD in autoregressive LLMs remains challenging because self-generated trajectories are free-form, correctness is task-dependent, and plausible rationales can still provide unstable or unreliable supervision. Existing methods mainly examine isolated design choices, leaving their effectiveness, roles, and interactions unclear. In this paper, we propose UniSD, a unified framework to systematically study self-distillation. UniSD integrates complementary mechanisms that address supervision reliability, representation alignment, and training stability, including multi-teacher agreement, EMA teacher stabilization, token-level contrastive learning, feature matching, and divergence clipping. Across six benchmarks and six models from three model families, UniSD reveals when self-distillation improves over static imitation, which components drive the gains, and how these components interact across tasks. Guided by these insights, we construct UniSDfull, an integrated pipeline that combines complementary components and achieves the strongest overall performance, improving over the base model by +5.4 points and the strongest baseline by +2.8 points. Extensive evaluation highlights self-distillation as a practical and steerable approach for efficient LLM adaptation without stronger external teachers.