なぜ自己蒸留は（時として）大規模言語モデルの推論能力を低下させるのか？

要旨

自己蒸留は、LLMの学習後パラダイムとして効果的であり、推論過程を短縮しつつ性能を向上させることが多い。しかし数学的推論においては、応答長を短縮しながらも性能を劣化させる場合があることがわかった。この性能劣化は、認識論的言語化（推論中のモデルの不確実性の表明）の抑制に起因することを突き止めた。条件付けコンテキストの豊富さとタスクカバレッジを変化させた制御実験を通じて、教師モデルに豊富な情報を条件付けると不確実性の表明が抑制され、限定的なタスクカバレッジでは領域内最適化が急速に進む一方、分布外性能（未見問題では不確実性を表明し適宜調整することが有益）を損なうことを示す。Qwen3-8B、DeepSeek-Distill-Qwen-7B、Olmo3-7B-Instructにおいて、最大40%の性能低下を観測した。我々の発見は、適切な水準の不確実性を表出することが頑健な推論に不可欠であることを明らかにし、単に正答の軌跡を強化することを超えた推論行動の最適化の重要性を強調するものである。

English

Self-distillation has emerged as an effective post-training paradigm for LLMs, often improving performance while shortening reasoning traces. However, in mathematical reasoning, we find that it can reduce response length while degrading performance. We trace this degradation to the suppression of epistemic verbalization - the model's expression of uncertainty during reasoning. Through controlled experiments varying conditioning context richness and task coverage, we show that conditioning the teacher on rich information suppresses uncertainty expression, enabling rapid in-domain optimization with limited task coverage but harming OOD performance, where unseen problems benefit from expressing uncertainty and adjusting accordingly. Across Qwen3-8B, DeepSeek-Distill-Qwen-7B, and Olmo3-7B-Instruct, we observe performance drops of up to 40%. Our findings highlight that exposing appropriate levels of uncertainty is crucial for robust reasoning and underscore the importance of optimizing reasoning behavior beyond merely reinforcing correct answer traces.

なぜ自己蒸留は（時として）大規模言語モデルの推論能力を低下させるのか？

Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?

要旨

Support