UniSD: Rumo a um Framework Unificado de Autodistilação para Grandes Modelos de Linguagem

Resumo

A autodestilação (SD) oferece um caminho promissor para adaptar modelos de linguagem de grande porte (LLMs) sem depender de professores externos mais fortes. No entanto, a SD em LLMs autorregressivos continua desafiadora porque as trajetórias autogeradas são de formato livre, a correção depende da tarefa e justificativas plausíveis ainda podem fornecer supervisão instável ou não confiável. Métodos existentes examinam principalmente escolhas de design isoladas, deixando sua eficácia, papéis e interações pouco claros. Neste artigo, propomos o UniSD, um framework unificado para estudar sistematicamente a autodestilação. O UniSD integra mecanismos complementares que abordam a confiabilidade da supervisão, o alinhamento de representações e a estabilidade do treinamento, incluindo concordância entre múltiplos professores, estabilização do professor por EMA, aprendizado contrastivo em nível de token, correspondência de características e recorte de divergência. Em seis benchmarks e seis modelos de três famílias de modelos, o UniSD revela quando a autodestilação melhora em relação à imitação estática, quais componentes impulsionam os ganhos e como esses componentes interagem entre tarefas. Guiados por esses insights, construímos o UniSDfull, um pipeline integrado que combina componentes complementares e alcança o desempenho geral mais forte, melhorando o modelo base em +5,4 pontos e a linha de base mais forte em +2,8 pontos. A avaliação extensa destaca a autodestilação como uma abordagem prática e direcionável para a adaptação eficiente de LLMs sem professores externos mais fortes.

English

Self-distillation (SD) offers a promising path for adapting large language models (LLMs) without relying on stronger external teachers. However, SD in autoregressive LLMs remains challenging because self-generated trajectories are free-form, correctness is task-dependent, and plausible rationales can still provide unstable or unreliable supervision. Existing methods mainly examine isolated design choices, leaving their effectiveness, roles, and interactions unclear. In this paper, we propose UniSD, a unified framework to systematically study self-distillation. UniSD integrates complementary mechanisms that address supervision reliability, representation alignment, and training stability, including multi-teacher agreement, EMA teacher stabilization, token-level contrastive learning, feature matching, and divergence clipping. Across six benchmarks and six models from three model families, UniSD reveals when self-distillation improves over static imitation, which components drive the gains, and how these components interact across tasks. Guided by these insights, we construct UniSDfull, an integrated pipeline that combines complementary components and achieves the strongest overall performance, improving over the base model by +5.4 points and the strongest baseline by +2.8 points. Extensive evaluation highlights self-distillation as a practical and steerable approach for efficient LLM adaptation without stronger external teachers.