Почему самодистилляция (иногда) ухудшает способность языковых моделей к логическим рассуждениям?
Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
March 25, 2026
Авторы: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dohyung Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang
cs.AI
Аннотация
Само-дистилляция стала эффективной парадигмой пост-тренировочной доработки больших языковых моделей (LLM), часто улучшая производительность при сокращении цепочек рассуждений. Однако в математических рассуждениях мы обнаружили, что она может сокращать длину ответов, одновременно ухудшая результаты. Мы связываем это ухудшение с подавлением эпистемической вербализации — выражения моделью неопределенности в процессе рассуждений. В контролируемых экспериментах с варьированием насыщенности контекста условиями и охвата задач мы показываем, что conditioning учителя на богатой информации подавляет выражение неопределенности. Это позволяет быстро оптимизировать модель внутри домена при ограниченном охвате задач, но вредит обобщающей способности (OOD), где решение незнакомых задач выигрывает от выражения неуверенности и соответствующей корректировки подхода. На моделях Qwen3-8B, DeepSeek-Distill-Qwen-7B и Olmo3-7B-Instruct мы наблюдаем падение производительности до 40%. Наши результаты подчеркивают, что раскрытие адекватного уровня неопределенности критически важно для устойчивых рассуждений, и указывают на важность оптимизации поведения модели при выводе, выходящей за рамки простого закрепления следов верных ответов.
English
Self-distillation has emerged as an effective post-training paradigm for LLMs, often improving performance while shortening reasoning traces. However, in mathematical reasoning, we find that it can reduce response length while degrading performance. We trace this degradation to the suppression of epistemic verbalization - the model's expression of uncertainty during reasoning. Through controlled experiments varying conditioning context richness and task coverage, we show that conditioning the teacher on rich information suppresses uncertainty expression, enabling rapid in-domain optimization with limited task coverage but harming OOD performance, where unseen problems benefit from expressing uncertainty and adjusting accordingly. Across Qwen3-8B, DeepSeek-Distill-Qwen-7B, and Olmo3-7B-Instruct, we observe performance drops of up to 40%. Our findings highlight that exposing appropriate levels of uncertainty is crucial for robust reasoning and underscore the importance of optimizing reasoning behavior beyond merely reinforcing correct answer traces.