Entropie-adaptive Feinabstimmung: Lösung von Konflikten bei hoher Konfidenz zur Minderung von Vergessen
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
papers.authors: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
papers.abstract
Supervised Fine-Tuning (SFT) ist das Standardparadigma für die Domänenanpassung, verursacht jedoch häufig die Kosten des katastrophalen Vergessens. Im scharfen Kontrast dazu erhält On-Policy Reinforcement Learning (RL) die allgemeinen Fähigkeiten effektiv. Wir untersuchen diese Diskrepanz und identifizieren eine grundlegende Verteilungslücke: Während RL sich mit der internen Überzeugung des Modells deckt, zwingt SFT das Modell, sich an externe Vorgaben anzupassen. Diese Diskrepanz manifestiert sich häufig als "Confident Conflicts"-Tokens, die durch niedrige Wahrscheinlichkeit aber niedrige Entropie gekennzeichnet sind. In diesen Fällen ist das Modell von seiner eigenen Vorhersage sehr überzeugt, wird jedoch gezwungen, eine abweichende Ground Truth zu erlernen, was destruktive Gradientenupdates auslöst. Um dies zu adressieren, schlagen wir Entropy-Adaptive Fine-Tuning (EAFT) vor. Anders als Methoden, die sich ausschließlich auf die Vorhersagewahrscheinlichkeit stützen, nutzt EAFT Token-Level-Entropie als Gating-Mechanismus, um zwischen epistemischer Unsicherheit und Wissenskonflikt zu unterscheiden. Dies ermöglicht es dem Modell, aus unsicheren Stichproben zu lernen, während Gradienten auf konfliktbehafteten Daten unterdrückt werden. Umfangreiche Experimente mit Qwen- und GLM-Serien (von 4B bis 32B Parametern) in mathematischen, medizinischen und agentenbasierten Domänen bestätigen unsere Hypothese. EAFT erreicht durchgängig die Downstream-Leistung von Standard-SFT, mildert dabei aber die Verschlechterung der allgemeinen Fähigkeiten erheblich ab.
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.