Mitigação do Esquecimento Catastrófico na Adaptação de LLMs para Línguas-Alvo por meio de Atualizações Protegidas pela Língua de Origem

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

Autores: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

Resumo

Expandir a diversidade linguística dos modelos de linguagem de grande porte (LLMs) instrucionais é crucial para a acessibilidade global, mas é frequentemente dificultado pela dependência de dados etiquetados em idioma-alvo especializados e dispendiosos e pelo esquecimento catastrófico durante a adaptação. Enfrentamos este desafio sob uma restrição realista de baixos recursos: adaptar LLMs instrucionais usando apenas dados não etiquetados do idioma-alvo. Introduzimos as Atualizações Protegidas pela Fonte (SSU), uma estratégia seletiva de atualização de parâmetros que preserva proativamente o conhecimento da fonte. Utilizando um pequeno conjunto de dados de origem e um método de pontuação de importância de parâmetros, a SSU identifica os parâmetros críticos para manter as habilidades da fonte. Em seguida, aplica uma estratégia de congelamento por coluna para proteger esses parâmetros antes da adaptação. Experimentos em cinco idiomas tipologicamente diversos e modelos de 7B e 13B demonstram que a SSU mitiga com sucesso o esquecimento catastrófico. Ela reduz a degradação de desempenho em tarefas monolíngues de origem para apenas 3,4% (7B) e 2,8% (13B) em média, um contraste marcante com os 20,3% e 22,3% do ajuste fino completo. A SSU também alcança um desempenho no idioma-alvo altamente competitivo com o ajuste fino completo, superando-o em todos os benchmarks para modelos de 7B e na maioria para modelos de 13B.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.