GeRe : Vers une lutte efficace contre l'oubli dans l'apprentissage continu des LLM via la relecture d'échantillons généraux

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

papers.authors: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

papers.abstract

La capacité d'apprentissage continu des grands modèles de langage (LLMs) est cruciale pour faire progresser l'intelligence artificielle générale. Cependant, l'affinage continu des LLMs à travers divers domaines souffre souvent de l'oubli catastrophique, caractérisé par : 1) un oubli significatif de leurs capacités générales, et 2) une forte baisse de performance dans les tâches précédemment apprises. Pour résoudre simultanément ces deux problèmes de manière simple et stable, nous proposons General Sample Replay (GeRe), un cadre qui utilise des textes de pré-entraînement usuels pour une anti-oubli efficace. Au-delà de la révision des pratiques basées sur le replay les plus répandues sous GeRe, nous exploitons également les états neuronaux pour introduire une méthode d'optimisation contrainte des états d'activation améliorée utilisant une perte de marge basée sur un seuil (TM), qui maintient la cohérence des états d'activation pendant l'apprentissage par replay. Nous sommes les premiers à valider qu'un petit ensemble fixe d'échantillons de replay généraux pré-collectés est suffisant pour résoudre les deux préoccupations—conserver les capacités générales tout en améliorant la performance globale à travers les tâches séquentielles. En effet, la première peut intrinsèquement faciliter la seconde. À travers des expériences contrôlées, nous comparons systématiquement TM avec différentes stratégies de replay sous le cadre GeRe, incluant l'ajustement simple des étiquettes, l'imitation des logits via la divergence KL et l'imitation des caractéristiques via les pertes L1/L2. Les résultats démontrent que TM améliore constamment la performance et montre une meilleure robustesse. Notre travail ouvre la voie à un replay efficace des LLMs pour l'avenir. Notre code et nos données sont disponibles à l'adresse https://github.com/Qznan/GeRe.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.