Perché l'Auto-Distillazione (Talvolta) Compromette la Capacità di Ragionamento degli LLM?
Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
March 25, 2026
Autori: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dohyung Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang
cs.AI
Abstract
L'auto-distillazione è emersa come un paradigma efficace di post-addestramento per i LLM, che spesso migliora le prestazioni riducendo al contempo le tracce di ragionamento. Tuttavia, nel ragionamento matematico, scopriamo che può ridurre la lunghezza della risposta degradando al contempo le prestazioni. Riconduciamo questo deterioramento alla soppressione della verbalizzazione epistemica, ovvero l'espressione di incertezza da parte del modello durante il ragionamento. Attraverso esperimenti controllati che variano la ricchezza del contesto di condizionamento e la copertura del compito, dimostriamo che il condizionamento del teacher su informazioni ricche sopprime l'espressione dell'incertezza, consentendo una rapida ottimizzazione in-dominio con una copertura limitata del compito, ma danneggiando le prestazioni out-of-distribution (OOD), dove i problemi non visti beneficiano dell'espressione dell'incertezza e del conseguente aggiustamento. Su Qwen3-8B, DeepSeek-Distill-Qwen-7B e Olmo3-7B-Instruct, osserviamo cali di prestazioni fino al 40%. I nostri risultati evidenziano che esporre livelli appropriati di incertezza è cruciale per un ragionamento robusto e sottolineano l'importanza di ottimizzare il comportamento di ragionamento oltre il mero rafforzamento delle tracce di risposta corretta.
English
Self-distillation has emerged as an effective post-training paradigm for LLMs, often improving performance while shortening reasoning traces. However, in mathematical reasoning, we find that it can reduce response length while degrading performance. We trace this degradation to the suppression of epistemic verbalization - the model's expression of uncertainty during reasoning. Through controlled experiments varying conditioning context richness and task coverage, we show that conditioning the teacher on rich information suppresses uncertainty expression, enabling rapid in-domain optimization with limited task coverage but harming OOD performance, where unseen problems benefit from expressing uncertainty and adjusting accordingly. Across Qwen3-8B, DeepSeek-Distill-Qwen-7B, and Olmo3-7B-Instruct, we observe performance drops of up to 40%. Our findings highlight that exposing appropriate levels of uncertainty is crucial for robust reasoning and underscore the importance of optimizing reasoning behavior beyond merely reinforcing correct answer traces.