GeRe: Verso un'efficiente prevenzione della dimenticanza nell'apprendimento continuo di LLM tramite il replay di campioni generali

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

Autori: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

Abstract

La capacità di apprendimento continuo dei grandi modelli linguistici (LLM) è cruciale per il progresso dell'intelligenza artificiale generale. Tuttavia, il fine-tuning continuo degli LLM attraverso vari domini spesso soffre di dimenticanza catastrofica, caratterizzata da: 1) una significativa perdita delle loro capacità generali e 2) un drastico declino delle prestazioni nei compiti precedentemente appresi. Per affrontare entrambi i problemi in modo semplice ma stabile, proponiamo General Sample Replay (GeRe), un framework che utilizza testi di pre-addestramento comuni per un'efficace prevenzione della dimenticanza. Oltre a riesaminare le pratiche più diffuse basate sul replay sotto GeRe, sfruttiamo ulteriormente gli stati neurali per introdurre un metodo di ottimizzazione vincolata degli stati di attivazione migliorato, utilizzando una funzione di perdita basata su margine con soglia (TM), che mantiene la coerenza degli stati di attivazione durante l'apprendimento con replay. Siamo i primi a validare che un piccolo insieme fisso di campioni di replay generali pre-raccolti è sufficiente per risolvere entrambe le preoccupazioni: mantenere le capacità generali mentre si promuove la performance complessiva attraverso compiti sequenziali. Infatti, il primo aspetto può intrinsecamente facilitare il secondo. Attraverso esperimenti controllati, confrontiamo sistematicamente TM con diverse strategie di replay sotto il framework GeRe, inclusi l'adattamento semplice delle etichette, l'imitazione dei logit tramite divergenza KL e l'imitazione delle caratteristiche tramite perdite L1/L2. I risultati dimostrano che TM migliora costantemente le prestazioni e mostra una migliore robustezza. Il nostro lavoro apre la strada a un replay efficiente degli LLM per il futuro. Il nostro codice e i dati sono disponibili all'indirizzo https://github.com/Qznan/GeRe.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.