GeRe: Hin zu effizientem Anti-Vergessen im kontinuierlichen Lernen von LLM durch Replay von allgemeinen Beispielen

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

papers.authors: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

papers.abstract

Die kontinuierliche Lernfähigkeit großer Sprachmodelle (LLMs) ist entscheidend für die Weiterentwicklung künstlicher allgemeiner Intelligenz. Allerdings leidet das kontinuierliche Feinabstimmen von LLMs über verschiedene Domänen hinweg häufig unter katastrophalem Vergessen, das sich durch folgende Merkmale auszeichnet: 1) signifikantes Vergessen ihrer allgemeinen Fähigkeiten und 2) starke Leistungseinbußen bei zuvor gelernten Aufgaben. Um beide Probleme gleichzeitig auf einfache und stabile Weise zu lösen, schlagen wir General Sample Replay (GeRe) vor, ein Framework, das übliche Vortrainingstexte für effizientes Anti-Vergessen nutzt. Über die gängigsten replay-basierten Praktiken unter GeRe hinaus nutzen wir neuronale Zustände, um eine verbesserte Optimierungsmethode mit aktivierungszustandsbeschränkter Schwellenwert-Marge (TM)-Verlustfunktion einzuführen, die die Konsistenz der Aktivierungszustände während des Replay-Lernens aufrechterhält. Wir sind die Ersten, die validieren, dass eine kleine, feste Menge von vorab gesammelten allgemeinen Replay-Stichproben ausreicht, um beide Bedenken zu lösen – die Beibehaltung allgemeiner Fähigkeiten bei gleichzeitiger Förderung der Gesamtleistung über sequenzielle Aufgaben hinweg. Tatsächlich kann Ersteres Letzteres inhärent begünstigen. Durch kontrollierte Experimente vergleichen wir systematisch TM mit verschiedenen Replay-Strategien unter dem GeRe-Framework, darunter einfache Label-Anpassung, Logit-Imitation via KL-Divergenz und Feature-Imitation via L1/L2-Verluste. Die Ergebnisse zeigen, dass TM die Leistung konsequent verbessert und eine bessere Robustheit aufweist. Unsere Arbeit ebnet den Weg für effizientes Replay von LLMs in der Zukunft. Unser Code und unsere Daten sind unter https://github.com/Qznan/GeRe verfügbar.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.