Энтропийно-адаптивная тонкая настройка: разрешение конфликтов уверенности для смягчения забывания

Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting

January 5, 2026

Авторы: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma

cs.AI

Аннотация

Контролируемая тонкая настройка (SFT) является стандартной парадигмой для адаптации к предметной области, однако она часто сопровождается катастрофическим забыванием. В резком контрасте с этим, обучение с подкреплением (RL) на основе собственной политики эффективно сохраняет общие способности модели. Мы исследуем это расхождение и выявляем фундаментальный распределительный разрыв: в то время как RL согласуется с внутренними убеждениями модели, SFT заставляет модель подстраиваться под внешнее контролирующее воздействие. Это несоответствие часто проявляется в виде "уверенных конфликтов" — токенов, характеризующихся низкой вероятностью, но также и низкой энтропией. В таких случаях модель высоко уверена в собственном прогнозе, но вынуждена обучаться на расходящейся с ним истинной метке, что провоцирует деструктивные обновления градиента. Для решения этой проблемы мы предлагаем Энтропийно-Адаптивную Тонкую Настройку (EAFT). В отличие от методов, опирающихся исключительно на вероятность предсказания, EAFT использует энтропию на уровне токенов в качестве механизма затвора для различения эпистемической неопределенности и конфликта знаний. Это позволяет модели обучаться на неопределенных примерах, одновременно подавляя градиенты на конфликтующих данных. Многочисленные эксперименты на моделях серий Qwen и GLM (диапазоном от 4B до 32B параметров) в математической, медицинской и агентной областях подтверждают нашу гипотезу. EAFT стабильно соответствует производительности стандартной SFT на целевых задачах, при этом значимо смягчая деградацию общих способностей.

English

Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.