Conflito Geométrico: Explicando e Controlando o Esquecimento no Pós-Treinamento Contínuo de LLMs

Resumo

O pós-treinamento contínuo visa estender modelos de linguagem de grande porte (LLMs) com novos conhecimentos, habilidades e comportamentos, mas ainda não está claro quando atualizações sequenciais possibilitam a transferência de capacidades e quando causam esquecimento catastrófico. Métodos existentes mitigam o esquecimento por meio de ajuste fino sequencial, repetição, regularização ou fusão de modelos, mas oferecem critérios limitados para determinar quando incorporar novas atualizações é benéfico ou prejudicial. Neste trabalho, estudamos o pós-treinamento contínuo de LLMs por meio de três questões: O que causa o esquecimento? Quando as capacidades adquiridas sequencialmente são transferidas ou sofrem interferência? Como a compatibilidade pode ser usada para controlar a integração de atualizações? Abordamos essas questões por meio da geometria de tarefas: representamos cada tarefa de pós-treinamento por sua atualização de parâmetros e estudamos a geometria de covariância induzida pela atualização. Nossa descoberta central é que: o esquecimento pode ser considerado uma falha de integração de atualização relativa ao estado, e surge quando as geometrias de covariância induzidas pelas tarefas se desalinharem com a geometria do estado do modelo em evolução. As atualizações sequenciais transferem quando permanecem compatíveis com o estado do modelo modelado por atualizações anteriores, e interferem quando o conflito de geometria relativa ao estado se torna elevado. Motivados por essa descoberta, propomos o Geometry-Conflict Wasserstein Merging (GCWM), um método de integração de atualizações sem dados que constrói uma métrica de Wasserstein compartilhada via baricentros gaussianos de Wasserstein e usa o conflito geométrico para ativar uma correção ciente da geometria. Em configurações contínuas de domínio e de capacidade com Qwen3 0,6B–14B, o GCWM supera consistentemente as linhas de base sem dados, melhorando a retenção e o desempenho final sem dados de repetição. Esses resultados identificam o conflito geométrico tanto como um sinal explicativo para o esquecimento quanto como um sinal de controle prático para o pós-treinamento contínuo de LLMs.

English

Continual post-training aims to extend large language models (LLMs) with new knowledge, skills, and behaviors, yet it remains unclear when sequential updates enable capability transfer and when they cause catastrophic forgetting. Existing methods mitigate forgetting through sequential fine-tuning, replay, regularization, or model merging, but offer limited criteria for determining when incorporating new updates is beneficial or harmful. In this work, we study LLM continual post-training through three questions: What drives forgetting? When do sequentially acquired capabilities transfer or interfere? How can compatibility be used to control update integration? We address these questions through task geometry: we represent each post-training task by its parameter update and study the covariance geometry induced by the update. Our central finding is that: forgetting can be considered as a state-relative update-integration failure, it arises when the covariance geometries induced by tasks misalign with the geometry of the evolving model state. Sequential updates transfer when they remain compatible with the model state shaped by previous updates, and interfere when state-relative geometry conflict becomes high. Motivated by this finding, we propose Geometry-Conflict Wasserstein Merging (GCWM), a data-free update-integration method that constructs a shared Wasserstein metric via Gaussian Wasserstein barycenters and uses geometry conflict to gate geometry-aware correction. Across Qwen3 0.6B--14B on domain-continual and capability-continual settings, GCWM consistently outperforms data-free baselines, improving retention and final performance without replay data. These results identify geometry conflict as both an explanatory signal for forgetting and a practical control signal for LLM continual post-training.