Ajustement fin adaptatif de l'entropie : Résolution des conflits de confiance pour atténuer l'oubli
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
papers.authors: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
papers.abstract
Le Fine-Tuning Supervisé (SFT) est le paradigme standard pour l'adaptation de domaine, mais il entraîne fréquemment un coût d'oubli catastrophique. En revanche, l'Apprentissage par Renforcement (RL) sur politique préserve efficacement les capacités générales. Nous étudions cette divergence et identifions un écart distributionnel fondamental : tandis que le RL s'aligne sur la croyance interne du modèle, le SFT force le modèle à s'ajuster à une supervision externe. Cette inadéquation se manifeste souvent par des tokens de "conflits de confiance", caractérisés par une faible probabilité mais une faible entropie. Dans ces cas, le modèle est très confiant dans sa propre prédiction mais est contraint d'apprendre une vérité terrain divergente, déclenchant des mises à jour de gradient destructrices. Pour y remédier, nous proposons le Fine-Tuning Adaptatif à l'Entropie (EAFT). Contrairement aux méthodes reposant uniquement sur la probabilité de prédiction, l'EAFT utilise l'entropie au niveau du token comme mécanisme de verrouillage pour distinguer l'incertitude épistémique du conflit de connaissances. Cela permet au modèle d'apprendre à partir d'échantillons incertains tout en supprimant les gradients sur les données conflictuelles. Des expériences approfondies sur les séries Qwen et GLM (allant de 4B à 32B paramètres) dans les domaines mathématique, médical et agentiel confirment notre hypothèse. L'EAFT atteint systématiquement les performances en aval du SFT standard tout en atténuant significativement la dégradation des capacités générales.
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.