GeRe: Hacia un Anti-Olvido Eficiente en el Aprendizaje Continuo de LLM mediante la Reutilización de Muestras Generales

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

August 6, 2025

Autores: Yunan Zhang, Shuoran Jiang, Mengchen Zhao, Yuefeng Li, Yang Fan, Xiangping Wu, Qingcai Chen

cs.AI

Resumen

La capacidad de aprendizaje continuo de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) es crucial para avanzar hacia la inteligencia artificial general. Sin embargo, el ajuste fino continuo de los LLMs en diversos dominios suele verse afectado por el olvido catastrófico, caracterizado por: 1) un olvido significativo de sus capacidades generales, y 2) una disminución abrupta en el rendimiento de tareas previamente aprendidas. Para abordar simultáneamente ambos problemas de manera simple y estable, proponemos General Sample Replay (GeRe), un marco que utiliza textos de preentrenamiento habituales para una eficiente prevención del olvido. Más allá de revisar las prácticas más comunes basadas en repetición bajo GeRe, aprovechamos los estados neuronales para introducir un método de optimización restringida de estados de activación mejorado, utilizando una función de pérdida basada en umbrales (TM, por sus siglas en inglés), que mantiene la consistencia de los estados de activación durante el aprendizaje por repetición. Somos los primeros en validar que un conjunto pequeño y fijo de muestras generales de repetición previamente recolectadas es suficiente para resolver ambas preocupaciones: retener las capacidades generales mientras se mejora el rendimiento general en tareas secuenciales. De hecho, lo primero puede facilitar inherentemente lo segundo. A través de experimentos controlados, comparamos sistemáticamente TM con diferentes estrategias de repetición bajo el marco GeRe, incluyendo ajuste de etiquetas básico, imitación de logits mediante divergencia KL e imitación de características mediante pérdidas L1/L2. Los resultados demuestran que TM mejora consistentemente el rendimiento y exhibe una mayor robustez. Nuestro trabajo allana el camino para una repetición eficiente de LLMs en el futuro. Nuestro código y datos están disponibles en https://github.com/Qznan/GeRe.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.