Ajuste Fino Adaptativo de Entropia: Resolvendo Conflitos de Confiança para Mitigar o Esquecimento
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
Autores: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
Resumo
A Afinação Supervisionada (SFT) é o paradigma padrão para adaptação de domínio, mas frequentemente incorre no custo do esquecimento catastrófico. Em nítido contraste, o Aprendizado por Reforço (RL) *on-policy* preserva eficazmente as capacidades gerais. Investigamos esta discrepância e identificamos uma lacuna distribucional fundamental: enquanto o RL se alinha com a crença interna do modelo, o SFT força o modelo a ajustar-se a uma supervisão externa. Este desalinhamento manifesta-se frequentemente como *tokens* de "Conflitos Confiantes", caracterizados por baixa probabilidade mas baixa entropia. Nestes casos, o modelo está altamente confiante na sua própria previsão, mas é forçado a aprender uma verdade fundamental divergente, desencadeando atualizações de gradiente destrutivas. Para resolver isto, propomos a Afinação com Adaptação de Entropia (EAFT). Ao contrário de métodos que dependem apenas da probabilidade de previsão, o EAFT utiliza a entropia a nível de *token* como um mecanismo de portão para distinguir entre incerteza epistémica e conflito de conhecimento. Isto permite que o modelo aprenda a partir de amostras incertas, enquanto suprime os gradientes em dados conflituosos. Experiências extensas nas séries Qwen e GLM (variando de 4B a 32B de parâmetros) em domínios matemáticos, médicos e de agentes confirmam a nossa hipótese. O EAFT iguala consistentemente o desempenho a jusante do SFT padrão, enquanto mitiga significativamente a degradação das capacidades gerais.
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.