Ajuste Fino Adaptativo de Entropía: Resolución de Conflictos de Confianza para Mitigar el Olvido
Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
January 5, 2026
Autores: Muxi Diao, Lele Yang, Wuxuan Gong, Yutong Zhang, Zhonghao Yan, Yufei Han, Kongming Liang, Weiran Xu, Zhanyu Ma
cs.AI
Resumen
El Ajuste Fino Supervisado (SFT) es el paradigma estándar para la adaptación de dominio, pero frecuentemente incurre en el costo del olvido catastrófico. En marcado contraste, el Aprendizaje por Refuerzo (RL) *on-policy* preserva eficazmente las capacidades generales. Investigamos esta discrepancia e identificamos una brecha distribucional fundamental: mientras que el RL se alinea con la creencia interna del modelo, el SFT obliga al modelo a ajustarse a una supervisión externa. Esta discrepancia a menudo se manifiesta como tokens de "Conflictos Confiados", caracterizados por una baja probabilidad pero también por una baja entropía. En estos casos, el modelo tiene una confianza muy alta en su propia predicción pero se ve forzado a aprender una verdad fundamental divergente, lo que desencadena actualizaciones de gradiente destructivas. Para abordar esto, proponemos el Ajuste Fino Adaptativo de Entropía (EAFT). A diferencia de los métodos que se basan únicamente en la probabilidad de predicción, EAFT utiliza la entropía a nivel de token como un mecanismo de compuerta para distinguir entre la incertidumbre epistémica y el conflicto de conocimiento. Esto permite al modelo aprender de muestras inciertas mientras suprime los gradientes en datos conflictivos. Experimentos exhaustivos en las series Qwen y GLM (que van desde 4B hasta 32B de parámetros) en dominios matemáticos, médicos y de agentes confirman nuestra hipótesis. EAFT iguala consistentemente el rendimiento en tareas específicas del SFT estándar, mientras mitiga significativamente la degradación de las capacidades generales.
English
Supervised Fine-Tuning (SFT) is the standard paradigm for domain adaptation, yet it frequently incurs the cost of catastrophic forgetting. In sharp contrast, on-policy Reinforcement Learning (RL) effectively preserves general capabilities. We investigate this discrepancy and identify a fundamental distributional gap: while RL aligns with the model's internal belief, SFT forces the model to fit external supervision. This mismatch often manifests as "Confident Conflicts" tokens characterized by low probability but low entropy. In these instances, the model is highly confident in its own prediction but is forced to learn a divergent ground truth, triggering destructive gradient updates. To address this, we propose Entropy-Adaptive Fine-Tuning (EAFT). Unlike methods relying solely on prediction probability, EAFT utilizes token-level entropy as a gating mechanism to distinguish between epistemic uncertainty and knowledge conflict. This allows the model to learn from uncertain samples while suppressing gradients on conflicting data. Extensive experiments on Qwen and GLM series (ranging from 4B to 32B parameters) across mathematical, medical, and agentic domains confirm our hypothesis. EAFT consistently matches the downstream performance of standard SFT while significantly mitigating the degradation of general capabilities.