LLM의 대상 언어 적응에서 소스 차폐 업데이트를 통한 파국적 망각 완화
Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
December 4, 2025
저자: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras
cs.AI
초록
명령어 대형 언어 모델(LLM)의 언어적 다양성 확대는 글로벌 접근성에 중요하지만, 고비용의 전문 목표 언어 레이블 데이터에 대한 의존성과 적응 과정에서의 파국적 망각 현상으로 인해 어려움을 겪고 있다. 본 연구는 현실적인 저자원 제약 조건, 즉 레이블이 없는 목표 언어 데이터만을 활용하여 명령어 LLM을 적응시키는 문제를 다룬다. 우리는 원천 언어 지식을 능동적으로 보존하는 선택적 매개변수 업데이트 전략인 Source-Shielded Updates(SSU)를 제안한다. 소량의 원천 언어 데이터와 매개변수 중요도 평가 방법을 사용하여 SSU는 원천 언어 능력 유지에 핵심적인 매개변수를 식별한다. 이후 적응 과정 전에 이러한 매개변수를 보호하기 위해 열 방향 동결 전략을 적용한다. 유형론적으로 다양한 5개 언어와 7B, 13B 모델을 대상으로 한 실험 결과, SSU가 파국적 망각 현상을 효과적으로 완화함을 확인했다. SSU는 단일 언어 원천 과제에서의 성능 저하를 7B 모델 기준 평균 3.4%, 13B 모델 기준 2.8%로 억제했으며, 이는 전체 미세 조정 시 각각 20.3%, 22.3%의 성능 저하와 대조적이다. 또한 SSU는 목표 언어 성능에서도 전체 미세 조정과 매우 유사한 수준을 달성했으며, 7B 모델의 모든 벤치마크와 13B 모델의 대부분 벤치마크에서 전체 미세 조정을 능가하는 결과를 보였다.
English
Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.