Atténuation de l'oubli catastrophique dans l'adaptation en langue cible des LLM via des mises à jour protégées de la source

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

papers.authors: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

papers.abstract

L'élargissement de la diversité linguistique des grands modèles de langage (LLM) d'instruction est crucial pour l'accessibilité mondiale, mais il est souvent entravé par la dépendance à des données étiquetées coûteuses dans la langue cible et par l'oubli catastrophique lors de l'adaptation. Nous relevons ce défi dans le cadre d'une contrainte réaliste de faible ressource : adapter les LLM d'instruction en utilisant uniquement des données non étiquetées de la langue cible. Nous présentons les Mises à Jour à Source Protégée (SSU), une stratégie de mise à jour sélective des paramètres qui préserve activement les connaissances de la langue source. En utilisant un petit ensemble de données source et une méthode d'évaluation de l'importance des paramètres, SSU identifie les paramètres critiques pour le maintien des capacités de la langue source. Elle applique ensuite une stratégie de gel par colonne pour protéger ces paramètres avant l'adaptation. Les expériences menées sur cinq langues typologiquement diverses et des modèles de 7B et 13B paramètres démontrent que SSU atténue efficacement l'oubli catastrophique. Elle réduit la dégradation des performances sur les tâches monolingues de la langue source à seulement 3,4 % (7B) et 2,8 % (13B) en moyenne, ce qui contraste nettement avec les 20,3 % et 22,3 % obtenus par le fine-tuning complet. SSU atteint également des performances dans la langue cible très compétitives par rapport au fine-tuning complet, le surpassant sur tous les benchmarks pour les modèles 7B et sur la majorité d'entre eux pour les modèles 13B.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.