Смягчение катастрофического забывания при адаптации больших языковых моделей к целевому языку с помощью защищенных от исходного языка обновлений

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

December 4, 2025

Авторы: Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

cs.AI

Аннотация

Расширение лингвистического разнообразия инструктивных больших языковых моделей (LLM) крайне важно для глобальной доступности, но часто затрудняется из-за зависимости от дорогостоящих размеченных данных на целевом языке и катастрофического забывания в процессе адаптации. Мы решаем эту задачу в условиях реалистичного ограничения по ресурсам: адаптируем инструктивные LLM, используя только неразмеченные данные на целевом языке. Мы представляем метод Source-Shielded Updates (SSU) — стратегию выборочного обновления параметров, которая проактивно сохраняет исходные знания. Используя небольшой набор исходных данных и метод оценки важности параметров, SSU идентифицирует параметры, критически важные для сохранения исходных способностей. Затем перед адаптацией применяется стратегия послойного замораживания для защиты этих параметров. Эксперименты на пяти типологически разнообразных языках и моделях размером 7B и 13B показывают, что SSU успешно смягчает проблему катастрофического забывания. Метод снижает деградацию производительности на монолингвальных исходных задачах до в среднем 3.4% (7B) и 2.8% (13B), что составляет разительный контраст с 20.3% и 22.3% при полном тонкой настройке. SSU также демонстрирует результаты на целевом языке, вполне сопоставимые с полной тонкой настройкой, превосходя её по всем тестам для моделей 7B и по большинству тестов для моделей 13B.

English

Expanding the linguistic diversity of instruct large language models (LLMs) is crucial for global accessibility but is often hindered by the reliance on costly specialized target language labeled data and catastrophic forgetting during adaptation. We tackle this challenge under a realistic, low-resource constraint: adapting instruct LLMs using only unlabeled target language data. We introduce Source-Shielded Updates (SSU), a selective parameter update strategy that proactively preserves source knowledge. Using a small set of source data and a parameter importance scoring method, SSU identifies parameters critical to maintaining source abilities. It then applies a column-wise freezing strategy to protect these parameters before adaptation. Experiments across five typologically diverse languages and 7B and 13B models demonstrate that SSU successfully mitigates catastrophic forgetting. It reduces performance degradation on monolingual source tasks to just 3.4% (7B) and 2.8% (13B) on average, a stark contrast to the 20.3% and 22.3% from full fine-tuning. SSU also achieves target-language performance highly competitive with full fine-tuning, outperforming it on all benchmarks for 7B models and the majority for 13B models.