エントロピー適応型ファインチューニング：確信度の衝突を解決し忘却を緩和する
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
著者: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
要旨
教師ありファインチューニング（SFT）はドメイン適応の標準的なパラダイムであるが、しばしば破滅的忘却のコストを伴う。これとは対照的に、方策オン型強化学習（RL）は一般的な能力を効果的に保持する。本研究ではこの不一致を検証し、根本的な分布ギャップを特定した：RLはモデルの内部信念と整合する一方、SFTはモデルに外部監視への適合を強制する。この不一致は「確信度の高い衝突」トークンとして顕在化し、低確率ながら低エントロピーという特徴を示す。この状況では、モデルは自身の予測に高い確信を持っているが、相反する正解を学習することを強制され、破壊的な勾配更新が引き起こされる。この問題に対処するため、我々はエントロピー適応型ファインチューニング（EAFT）を提案する。予測確率のみに依存する手法とは異なり、EAFTはトークンレベルのエントロピーをゲーティング機構として利用し、認識的不確実性と知識衝突を識別する。これにより、モデルは不確実なサンプルから学習しつつ、衝突データにおける勾配を抑制することが可能となる。QwenおよびGLMシリーズ（パラメータ数4Bから32B）を用いた数学、医療、エージェント領域における大規模な実験により、我々の仮説を実証した。EAFTは標準的なSFTと同等の下流タスク性能を維持しつつ、一般的な能力の劣化を大幅に軽減することを一貫して確認した。
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.