Conflit géométrique : expliquer et contrôler l'oubli dans le post-entraînement continu des LLM

Résumé

Le post-entraînement continu vise à étendre les grands modèles de langage (LLM) avec de nouvelles connaissances, compétences et comportements, mais il reste incertain quand les mises à jour séquentielles permettent le transfert de capacités et quand elles provoquent un oubli catastrophique. Les méthodes existantes atténuent l'oubli par l'ajustement fin séquentiel, le rejeu, la régularisation ou la fusion de modèles, mais offrent des critères limités pour déterminer quand l'incorporation de nouvelles mises à jour est bénéfique ou nuisible. Dans ce travail, nous étudions le post-entraînement continu des LLM à travers trois questions : Qu'est-ce qui motive l'oubli ? Quand les capacités acquises séquentiellement se transfèrent-elles ou interfèrent-elles ? Comment la compatibilité peut-elle être utilisée pour contrôler l'intégration des mises à jour ? Nous abordons ces questions via la géométrie des tâches : nous représentons chaque tâche de post-entraînement par sa mise à jour des paramètres et étudions la géométrie de covariance induite par cette mise à jour. Notre constat central est que l'oubli peut être considéré comme un échec d'intégration de mise à jour relatif à l'état ; il survient lorsque les géométries de covariance induites par les tâches ne s'alignent pas avec la géométrie de l'état évolutif du modèle. Les mises à jour séquentielles se transfèrent lorsqu'elles restent compatibles avec l'état du modèle façonné par les mises à jour précédentes, et interfèrent lorsque le conflit géométrique relatif à l'état devient élevé. Motivés par cette observation, nous proposons la Fusion de Wasserstein par Conflit Géométrique (GCWM), une méthode d'intégration de mise à jour sans données qui construit une métrique de Wasserstein partagée via des barycentres gaussiens de Wasserstein et utilise le conflit géométrique pour déclencher une correction sensible à la géométrie. Sur des modèles Qwen3 0,6B–14B dans des paramètres continus par domaine et par capacité, GCWM surpasse systématiquement les méthodes de référence sans données, améliorant la rétention et la performance finale sans données de rejeu. Ces résultats identifient le conflit géométrique à la fois comme un signal explicatif de l'oubli et comme un signal de contrôle pratique pour le post-entraînement continu des LLM.

English

Continual post-training aims to extend large language models (LLMs) with new knowledge, skills, and behaviors, yet it remains unclear when sequential updates enable capability transfer and when they cause catastrophic forgetting. Existing methods mitigate forgetting through sequential fine-tuning, replay, regularization, or model merging, but offer limited criteria for determining when incorporating new updates is beneficial or harmful. In this work, we study LLM continual post-training through three questions: What drives forgetting? When do sequentially acquired capabilities transfer or interfere? How can compatibility be used to control update integration? We address these questions through task geometry: we represent each post-training task by its parameter update and study the covariance geometry induced by the update. Our central finding is that: forgetting can be considered as a state-relative update-integration failure, it arises when the covariance geometries induced by tasks misalign with the geometry of the evolving model state. Sequential updates transfer when they remain compatible with the model state shaped by previous updates, and interfere when state-relative geometry conflict becomes high. Motivated by this finding, we propose Geometry-Conflict Wasserstein Merging (GCWM), a data-free update-integration method that constructs a shared Wasserstein metric via Gaussian Wasserstein barycenters and uses geometry conflict to gate geometry-aware correction. Across Qwen3 0.6B--14B on domain-continual and capability-continual settings, GCWM consistently outperforms data-free baselines, improving retention and final performance without replay data. These results identify geometry conflict as both an explanatory signal for forgetting and a practical control signal for LLM continual post-training.