Mitigazione dell'Oblio Catastrofico nell'Adattamento Linguistico degli LLM tramite Aggiornamenti Protetti dalla Lingua Sorgente

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

Autori: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

Abstract

Ampliare la diversità linguistica dei modelli linguistici di grandi dimensioni (LLM) di istruzione è cruciale per l'accessibilità globale, ma è spesso ostacolato dalla dipendenza da costosi dati etichettati nella lingua target specializzati e dall'oblio catastrofico durante l'adattamento. Affrontiamo questa sfida in un contesto realistico e a risorse limitate: adattare gli LLM di istruzione utilizzando solo dati non etichettati nella lingua target. Introduciamo gli Aggiornamenti Protetti dalla Lingua Sorgente (Source-Shielded Updates, SSU), una strategia di aggiornamento selettivo dei parametri che preserva proattivamente la conoscenza della sorgente. Utilizzando un piccolo insieme di dati sorgente e un metodo di valutazione dell'importanza dei parametri, SSU identifica i parametri critici per mantenere le abilità nella lingua sorgente. Successivamente applica una strategia di congelamento per colonna per proteggere questi parametri prima dell'adattamento. Esperimenti condotti su cinque lingue tipologicamente diverse e su modelli da 7B e 13B parametri dimostrano che SSU mitiga con successo l'oblio catastrofico. Riduce il degrado delle prestazioni sui task monolingue della lingua sorgente a solo il 3,4% (7B) e il 2,8% (13B) in media, in netto contrasto con il 20,3% e il 22,3% ottenuti con la messa a punto completa (full fine-tuning). SSU raggiunge inoltre prestazioni nella lingua target altamente competitive rispetto alla messa a punto completa, superandola su tutti i benchmark per i modelli da 7B e sulla maggioranza per i modelli da 13B.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.