Geometrieconflict: Het verklaren en beheersen van vergeten in continue post-training van LLM's

Samenvatting

Continuele post-training beoogt grote taalmodellen (LLM's) uit te breiden met nieuwe kennis, vaardigheden en gedragingen, maar het blijft onduidelijk wanneer sequentiële updates capaciteitsoverdracht mogelijk maken en wanneer ze catastrofale vergeetachtigheid veroorzaken. Bestaande methoden beperken vergeetachtigheid door sequentiële fijnafstemming, herhaling, regularisatie of modelsamensmelting, maar bieden beperkte criteria om te bepalen wanneer het opnemen van nieuwe updates gunstig of schadelijk is. In dit werk bestuderen we continuele post-training van LLM's aan de hand van drie vragen: Wat veroorzaakt vergeetachtigheid? Wanneer worden sequentieel verworven vaardigheden overgedragen of interfereren ze? Hoe kan compatibiliteit worden gebruikt om update-integratie te beheersen? We behandelen deze vragen via taakgeometrie: we representeren elke post-trainingstaak door zijn parameterupdate en bestuderen de covariantiegeometrie die door de update wordt geïnduceerd. Onze centrale bevinding is dat vergeetachtigheid kan worden beschouwd als een toestandsrelatieve update-integratiefout; het ontstaat wanneer de door taken geïnduceerde covariantiegeometrieën niet overeenkomen met de geometrie van de evoluerende modeltoestand. Sequentiële updates dragen over wanneer ze compatibel blijven met de modeltoestand die door eerdere updates is gevormd, en interfereren wanneer het toestandsrelatieve geometrieconflict hoog wordt. Gemotiveerd door deze bevinding stellen we Geometry-Conflict Wasserstein Merging (GCWM) voor, een data-vrije update-integratiemethode die een gedeelde Wasserstein-metriek construeert via Gaussiaanse Wasserstein-barycentra en geometrieconflict gebruikt om geometriebewuste correctie te sturen. Over Qwen3 0.6B–14B in domein-continue en vaardigheid-continue settings presteert GCWM consistent beter dan data-vrije baselines, met verbeterde retentie en uiteindelijke prestaties zonder herhalingsdata. Deze resultaten identificeren geometrieconflict zowel als een verklarend signaal voor vergeetachtigheid als een praktisch controlesignaal voor continuele post-training van LLM's.

English

Continual post-training aims to extend large language models (LLMs) with new knowledge, skills, and behaviors, yet it remains unclear when sequential updates enable capability transfer and when they cause catastrophic forgetting. Existing methods mitigate forgetting through sequential fine-tuning, replay, regularization, or model merging, but offer limited criteria for determining when incorporating new updates is beneficial or harmful. In this work, we study LLM continual post-training through three questions: What drives forgetting? When do sequentially acquired capabilities transfer or interfere? How can compatibility be used to control update integration? We address these questions through task geometry: we represent each post-training task by its parameter update and study the covariance geometry induced by the update. Our central finding is that: forgetting can be considered as a state-relative update-integration failure, it arises when the covariance geometries induced by tasks misalign with the geometry of the evolving model state. Sequential updates transfer when they remain compatible with the model state shaped by previous updates, and interfere when state-relative geometry conflict becomes high. Motivated by this finding, we propose Geometry-Conflict Wasserstein Merging (GCWM), a data-free update-integration method that constructs a shared Wasserstein metric via Gaussian Wasserstein barycenters and uses geometry conflict to gate geometry-aware correction. Across Qwen3 0.6B--14B on domain-continual and capability-continual settings, GCWM consistently outperforms data-free baselines, improving retention and final performance without replay data. These results identify geometry conflict as both an explanatory signal for forgetting and a practical control signal for LLM continual post-training.