Het beperken van catastrofaal vergeten bij doeltaalaanpassing van LLM's via bronafgeschermde updates

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

Auteurs: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

Samenvatting

Het vergroten van de linguïstische diversiteit van instruct-getrainde grote taalmodellen (LLM's) is cruciaal voor wereldwijde toegankelijkheid, maar wordt vaak belemmerd door de afhankelijkheid van kostbare gelabelde data in de doeltaal en catastrofaal verlies van kennis tijdens aanpassing. Wij pakken deze uitdaging aan onder een realistische, laag-resource beperking: het aanpassen van instruct-LLM's met uitsluitend ongelabelde data in de doeltaal. Wij introduceren Source-Shielded Updates (SSU), een selectieve parameterupdate-strategie die proactief bronkennis behoudt. Met behulp van een kleine set brondata en een methode voor het scoren van parameterbelang identificeert SSU parameters die cruciaal zijn voor het behoud van bronvaardigheden. Vervolgens past het een kolomsgewijs bevriezingsstrategie toe om deze parameters vóór aanpassing te beschermen. Experimenten in vijf typologisch diverse talen en met 7B en 13B modellen tonen aan dat SSU catastrofaal verlies succesvol beperkt. Het reduceert prestatieverlies op monolinguale bron-taken tot slechts 3,4% (7B) en 2,8% (13B) gemiddeld, een schril contrast met de 20,3% en 22,3% bij volledige fine-tuning. SSU behaalt tevens prestatie in de doeltaal die sterk concurrerend is met volledige fine-tuning, en overtreft deze op alle benchmarks voor 7B-modellen en op de meeste benchmarks voor 13B-modellen.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.