Minderung des katastrophalen Vergessens bei der Zielsprachenanpassung von LLMs durch quellgeschützte Aktualisierungen

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

papers.authors: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

papers.abstract

Die Erweiterung der linguistischen Vielfalt von instruktionsfähigen großen Sprachmodellen (LLMs) ist entscheidend für den globalen Zugang, wird jedoch häufig durch die Abhängigkeit von kostspieligen, spezialisierten annotierten Daten in der Zielsprache und durch katastrophales Vergessen während der Anpassung behindert. Wir bewältigen diese Herausforderung unter realistischen, ressourcenarmen Randbedingungen: der Anpassung von instruktionsfähigen LLMs unter ausschließlicher Verwendung unannotierter Daten der Zielsprache. Wir stellen Source-Shielded Updates (SSU) vor, eine Strategie für selektive Parameteraktualisierungen, die Quellwissen proaktiv bewahrt. Unter Verwendung eines kleinen Satzes von Quelldaten und einer Methode zur Bewertung der Parameterwichtigkeit identifiziert SSU Parameter, die für den Erhalt der Quellfähigkeiten kritisch sind. Anschließend wird vor der Anpassung eine spaltenweise Einfrier-Strategie angewendet, um diese Parameter zu schützen. Experimente über fünf typologisch diverse Sprachen und 7B- sowie 13B-Modelle hinweg demonstrieren, dass SSU katastrophales Vergessen erfolgreich abmildert. Es reduziert die Leistungseinbußen bei monolingualen Quellaufgaben auf nur durchschnittlich 3,4 % (7B) bzw. 2,8 % (13B) – ein deutlicher Kontrast zu den 20,3 % bzw. 22,3 % bei vollständigem Fine-Tuning. SSU erzielt zudem eine Leistung in der Zielsprache, die mit vollständigem Fine-Tuning hochgradig wettbewerbsfähig ist und dieses auf allen Benchmarks für 7B-Modelle sowie auf der Mehrheit der Benchmarks für 13B-Modelle übertrifft.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.