GeRe: 일반 샘플 재생을 통한 대규모 언어 모델의 지속 학습에서 효율적인 망각 방지 기법

초록

대규모 언어 모델(LLM)의 지속적 학습 능력은 인공 일반 지능(AGI)의 발전에 있어 핵심적입니다. 그러나 다양한 도메인에 걸친 지속적 미세 조정(fine-tuning)은 종종 치명적 망각(catastrophic forgetting) 문제를 겪는데, 이는 1) 모델의 일반적 능력이 크게 저하되고, 2) 이전에 학습한 작업에서 성능이 급격히 감소하는 특징을 보입니다. 이러한 두 가지 문제를 단순하면서도 안정적으로 동시에 해결하기 위해, 우리는 일반 샘플 재생(General Sample Replay, GeRe) 프레임워크를 제안합니다. 이 프레임워크는 일반적인 사전 학습 텍스트를 사용하여 효율적인 망각 방지를 달성합니다. GeRe 하에서 가장 널리 사용되는 재생 기반 방법론을 재검토하는 것을 넘어, 우리는 신경 상태(neural states)를 활용하여 임계값 기반 마진(threshold-based margin, TM) 손실을 사용한 개선된 활성화 상태 제약 최적화 방법을 도입했습니다. 이 방법은 재생 학습 동안 활성화 상태의 일관성을 유지합니다. 우리는 사전 수집된 소규모의 일반 재생 샘플 집합만으로도 두 가지 문제를 해결할 수 있음을 최초로 검증했습니다. 즉, 일반 능력을 유지하면서 순차적 작업 전반에 걸쳐 성능을 촉진할 수 있다는 것입니다. 실제로, 전자는 본질적으로 후자를 촉진할 수 있습니다. 통제된 실험을 통해, 우리는 GeRe 프레임워크 하에서 TM을 다양한 재생 전략(바닐라 라벨 피팅, KL 발산을 통한 로짓 모방, L1/L2 손실을 통한 특징 모방 등)과 체계적으로 비교했습니다. 결과는 TM이 일관적으로 성능을 개선하고 더 나은 견고성을 보임을 입증했습니다. 우리의 연구는 LLM의 효율적인 재생을 위한 길을 열어줍니다. 코드와 데이터는 https://github.com/Qznan/GeRe에서 확인할 수 있습니다.

English

The continual learning capability of large language models (LLMs) is crucial for advancing artificial general intelligence. However, continual fine-tuning LLMs across various domains often suffers from catastrophic forgetting, characterized by: 1) significant forgetting of their general capabilities, and 2) sharp performance declines in previously learned tasks. To simultaneously address both issues in a simple yet stable manner, we propose General Sample Replay (GeRe), a framework that use usual pretraining texts for efficient anti-forgetting. Beyond revisiting the most prevalent replay-based practices under GeRe, we further leverage neural states to introduce a enhanced activation states constrained optimization method using threshold-based margin (TM) loss, which maintains activation state consistency during replay learning. We are the first to validate that a small, fixed set of pre-collected general replay samples is sufficient to resolve both concerns--retaining general capabilities while promoting overall performance across sequential tasks. Indeed, the former can inherently facilitate the latter. Through controlled experiments, we systematically compare TM with different replay strategies under the GeRe framework, including vanilla label fitting, logit imitation via KL divergence and feature imitation via L1/L2 losses. Results demonstrate that TM consistently improves performance and exhibits better robustness. Our work paves the way for efficient replay of LLMs for the future. Our code and data are available at https://github.com/Qznan/GeRe.

GeRe: 일반 샘플 재생을 통한 대규모 언어 모델의 지속 학습에서 효율적인 망각 방지 기법

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

초록

Support