Entropie-Adaptieve Fijnafstemming: Het Oplossen van Zekere Conflicten om Vergeten te Verminderen
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
Auteurs: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
Samenvatting
Supervised Fine-Tuning (SFT) is het standaardparadigma voor domeinaanpassing, maar het gaat vaak gepaard met catastrofaal vergeten. In schril contrast hiermee behoudt on-policy Reinforcement Learning (RL) de algemene capaciteiten effectief. Wij onderzoeken dit verschil en identificeren een fundamentele distributionele kloof: waar RL aansluit bij het interne geloof van het model, dwingt SFT het model om zich aan te passen aan externe supervisie. Deze mismatch manifesteert zich vaak als "Zelfverzekerde Conflicten" (Confident Conflicts): tokens die worden gekenmerkt door een lage waarschijnlijkheid maar ook een lage entropie. In deze gevallen is het model zeer overtuigd van zijn eigen voorspelling, maar wordt het gedwongen om een afwijkende grondwaarheid aan te leren, wat destructieve gradient-updates triggert. Om dit aan te pakken, stellen wij Entropie-Adaptieve Fine-Tuning (EAFT) voor. In tegenstelling tot methodes die uitsluitend op voorspellingswaarschijnlijkheid vertrouwen, gebruikt EAFT token-level entropie als een gating-mechanisme om onderscheid te maken tussen epistemische onzekerheid en kennisfconflict. Hierdoor kan het model leren van onzekere voorbeelden, terwijl het gradients op conflicterende data onderdrukt. Uitgebreide experimenten met de Qwen- en GLM-reeksen (variërend van 4B tot 32B parameters) in wiskundige, medische en agent-gerichte domeinen bevestigen onze hypothese. EAFT evenaart consistent de downstream-prestaties van standaard SFT, terwijl het de degradatie van algemene capaciteiten aanzienlijk vermindert.
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.