GeRe: Rumo à Eficiência Anti-Esquecimento no Aprendizado Contínuo de LLM por meio de Replay de Amostras Gerais

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

Autores: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

Resumo

A capacidade de aprendizado contínuo dos grandes modelos de linguagem (LLMs) é crucial para o avanço da inteligência artificial geral. No entanto, o ajuste fino contínuo de LLMs em diversos domínios frequentemente sofre com o esquecimento catastrófico, caracterizado por: 1) esquecimento significativo de suas capacidades gerais, e 2) declínios acentuados no desempenho em tarefas previamente aprendidas. Para abordar simultaneamente ambos os problemas de maneira simples e estável, propomos o General Sample Replay (GeRe), um framework que utiliza textos comuns de pré-treinamento para uma eficiente prevenção do esquecimento. Além de revisitar as práticas mais prevalentes baseadas em replay sob o GeRe, nós ainda aproveitamos estados neurais para introduzir um método aprimorado de otimização restrita de estados de ativação, utilizando uma função de perda baseada em margem com limiar (TM), que mantém a consistência dos estados de ativação durante o aprendizado por replay. Somos os primeiros a validar que um pequeno conjunto fixo de amostras gerais de replay pré-coletadas é suficiente para resolver ambas as preocupações—manter as capacidades gerais enquanto promove o desempenho geral em tarefas sequenciais. De fato, o primeiro pode inerentemente facilitar o segundo. Por meio de experimentos controlados, comparamos sistematicamente o TM com diferentes estratégias de replay sob o framework GeRe, incluindo ajuste simples de rótulos, imitação de logits via divergência KL e imitação de características via perdas L1/L2. Os resultados demonstram que o TM consistentemente melhora o desempenho e exibe maior robustez. Nosso trabalho abre caminho para o replay eficiente de LLMs no futuro. Nosso código e dados estão disponíveis em https://github.com/Qznan/GeRe.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.