UniSD : Vers un cadre unifié d'auto-distillation pour les grands modèles de langage
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
May 7, 2026
Auteurs: Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Josiah Hester, Jindong Wang, Srijan Kumar
cs.AI
Résumé
L'auto-distillation (AD) offre une voie prometteuse pour adapter les grands modèles de langage (GML) sans recourir à des enseignants externes plus puissants. Cependant, l'AD dans les GML autorégressifs reste difficile car les trajectoires auto-générées sont libres, la justesse dépend de la tâche, et des justifications plausibles peuvent fournir une supervision instable ou peu fiable. Les méthodes existantes examinent principalement des choix de conception isolés, laissant leurs efficacités, rôles et interactions peu clairs. Dans cet article, nous proposons UniSD, un cadre unifié pour étudier systématiquement l'auto-distillation. UniSD intègre des mécanismes complémentaires qui traitent de la fiabilité de la supervision, de l'alignement des représentations et de la stabilité de l'entraînement, notamment l'accord multi-enseignant, la stabilisation par enseignant EMA, l'apprentissage contrastif au niveau des tokens, l'appariement des caractéristiques et l'écrêtage de divergence. À travers six références et six modèles issus de trois familles de modèles, UniSD révèle quand l'auto-distillation améliore l'imitation statique, quelles composantes génèrent les gains, et comment ces composantes interagissent selon les tâches. Guidés par ces observations, nous construisons UniSDfull, un pipeline intégré qui combine des composantes complémentaires et atteint la performance globale la plus élevée, améliorant de +5,4 points par rapport au modèle de base et de +2,8 points par rapport à la baseline la plus forte. Une évaluation approfondie met en évidence l'auto-distillation comme une approche pratique et orientable pour une adaptation efficace des GML sans enseignants externes plus puissants.
English
Self-distillation (SD) offers a promising path for adapting large language models (LLMs) without relying on stronger external teachers. However, SD in autoregressive LLMs remains challenging because self-generated trajectories are free-form, correctness is task-dependent, and plausible rationales can still provide unstable or unreliable supervision. Existing methods mainly examine isolated design choices, leaving their effectiveness, roles, and interactions unclear. In this paper, we propose UniSD, a unified framework to systematically study self-distillation. UniSD integrates complementary mechanisms that address supervision reliability, representation alignment, and training stability, including multi-teacher agreement, EMA teacher stabilization, token-level contrastive learning, feature matching, and divergence clipping. Across six benchmarks and six models from three model families, UniSD reveals when self-distillation improves over static imitation, which components drive the gains, and how these components interact across tasks. Guided by these insights, we construct UniSDfull, an integrated pipeline that combines complementary components and achieves the strongest overall performance, improving over the base model by +5.4 points and the strongest baseline by +2.8 points. Extensive evaluation highlights self-distillation as a practical and steerable approach for efficient LLM adaptation without stronger external teachers.