GeRe: Naar efficiënte anti-vergeten in continu leren van LLM via herhaling van algemene voorbeelden

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

Auteurs: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

Samenvatting

Het vermogen tot voortdurend leren van grote taalmmodellen (LLMs) is cruciaal voor de vooruitgang van kunstmatige algemene intelligentie. Echter, het voortdurend finetunen van LLMs over verschillende domeinen lijdt vaak aan catastrofaal vergeten, gekenmerkt door: 1) aanzienlijk verlies van hun algemene capaciteiten, en 2) scherpe prestatieverminderingen in eerder geleerde taken. Om beide problemen tegelijkertijd op een eenvoudige doch stabiele manier aan te pakken, stellen wij General Sample Replay (GeRe) voor, een raamwerk dat gebruikmaakt van gebruikelijke pretrainingsteksten voor efficiënte anti-vergeten. Naast het opnieuw bekijken van de meest voorkomende replay-gebaseerde praktijken onder GeRe, benutten wij verder neurale staten om een verbeterde optimalisatiemethode met beperkte activatiestaten te introduceren, gebruikmakend van threshold-based margin (TM) verlies, wat consistentie van activatiestaten behoudt tijdens replay-leren. Wij zijn de eersten die valideren dat een kleine, vaste set van vooraf verzamelde algemene replay-monsters voldoende is om beide zorgen op te lossen—het behouden van algemene capaciteiten terwijl de algehele prestaties over sequentiële taken worden bevorderd. Inderdaad kan het eerste het laatste inherent faciliteren. Door middel van gecontroleerde experimenten vergelijken wij systematisch TM met verschillende replay-strategieën onder het GeRe-raamwerk, waaronder vanilla label fitting, logit-imitaties via KL-divergentie en feature-imitaties via L1/L2-verliezen. Resultaten tonen aan dat TM consistent de prestaties verbetert en betere robuustheid vertoont. Ons werk effent de weg voor efficiënte replay van LLMs in de toekomst. Onze code en data zijn beschikbaar op https://github.com/Qznan/GeRe.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.