Por Que a Auto-Destilação (Às Vezes) Degrada a Capacidade de Raciocínio dos LLMs?
Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
March 25, 2026
Autores: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dohyung Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang
cs.AI
Resumo
A autodistilação emergiu como um paradigma eficaz de pós-treinamento para LLMs, frequentemente melhorando o desempenho enquanto encurta os traços de raciocínio. No entanto, no raciocínio matemático, descobrimos que ela pode reduzir o comprimento da resposta enquanto degrada o desempenho. Rastreamos essa degradação até a supressão da verbalização epistêmica - a expressão de incerteza do modelo durante o raciocínio. Através de experimentos controlados variando a riqueza do contexto de condicionamento e a cobertura de tarefas, mostramos que condicionar o professor com informações ricas suprime a expressão de incerteza, permitindo uma rápida otimização em domínio com cobertura limitada de tarefas, mas prejudicando o desempenho fora da distribuição (OOD), onde problemas não vistos se beneficiam da expressão de incerteza e do ajuste correspondente. Através dos modelos Qwen3-8B, DeepSeek-Distill-Qwen-7B e Olmo3-7B-Instruct, observamos quedas de desempenho de até 40%. Nossas descobertas destacam que expor níveis apropriados de incerteza é crucial para um raciocínio robusto e sublinham a importância de otimizar o comportamento de raciocínio para além de meramente reforçar traços de respostas corretas.
English
Self-distillation has emerged as an effective post-training paradigm for LLMs, often improving performance while shortening reasoning traces. However, in mathematical reasoning, we find that it can reduce response length while degrading performance. We trace this degradation to the suppression of epistemic verbalization - the model's expression of uncertainty during reasoning. Through controlled experiments varying conditioning context richness and task coverage, we show that conditioning the teacher on rich information suppresses uncertainty expression, enabling rapid in-domain optimization with limited task coverage but harming OOD performance, where unseen problems benefit from expressing uncertainty and adjusting accordingly. Across Qwen3-8B, DeepSeek-Distill-Qwen-7B, and Olmo3-7B-Instruct, we observe performance drops of up to 40%. Our findings highlight that exposing appropriate levels of uncertainty is crucial for robust reasoning and underscore the importance of optimizing reasoning behavior beyond merely reinforcing correct answer traces.