Mitigación del Olvido Catastrófico en la Adaptación Lingüística de LLMs mediante Actualizaciones con Escudo de la Fuente

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

Autores: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

Resumen

Ampliar la diversidad lingüística de los modelos de lenguaje grandes (LLM) de instrucción es crucial para la accesibilidad global, pero a menudo se ve obstaculizado por la dependencia de datos etiquetados en el idioma objetivo costosos y especializados, y por el olvido catastrófico durante la adaptación. Abordamos este desafío bajo una restricción realista de bajos recursos: adaptar LLM de instrucción utilizando únicamente datos no etiquetados en el idioma objetivo. Introducimos las Actualizaciones Protegidas de la Fuente (SSU), una estrategia de actualización selectiva de parámetros que preserva proactivamente el conocimiento de origen. Utilizando un pequeño conjunto de datos fuente y un método de puntuación de importancia de parámetros, SSU identifica los parámetros críticos para mantener las capacidades de origen. Luego aplica una estrategia de congelación por columnas para proteger estos parámetros antes de la adaptación. Los experimentos en cinco idiomas tipológicamente diversos y con modelos de 7B y 13B demuestran que SSU mitiga exitosamente el olvido catastrófico. Reduce la degradación del rendimiento en tareas monolingües de origen a solo un 3.4% (7B) y un 2.8% (13B) en promedio, un marcado contraste con el 20.3% y 22.3% del ajuste fino completo. SSU también logra un rendimiento en el idioma objetivo altamente competitivo con el ajuste fino completo, superándolo en todos los puntos de referencia para modelos de 7B y en la mayoría para modelos de 13B.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.