Переосмысление многоязычного непрерывного предобучения: смешивание данных для адаптации крупных языковых моделей к различным языкам и ресурсам

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

April 5, 2025

Авторы: Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют значительные различия в производительности между языками, в основном выигрывая высокоресурсные языки, в то время как недостаточно представленные языки остаются в невыгодном положении. Непрерывное предобучение (Continual Pretraining, CPT) стало перспективным подходом для устранения этого дисбаланса, хотя относительная эффективность стратегий с использованием монолингвальных, билингвальных и данных, дополненных кодом, остается неясной. В данном исследовании систематически оцениваются 36 конфигураций CPT, включающих три многоязычные базовые модели, на более чем 30 языках, классифицированных как альтруистические, эгоистичные и стагнирующие, охватывающих различные уровни ресурсов. Наши результаты выявляют три ключевых вывода: (1) Билингвальное CPT улучшает многоязычную классификацию, но часто вызывает проблемы смешения языков при генерации. (2) Включение данных с программным кодом во время CPT последовательно повышает точность многоязычной классификации, особенно для низкоресурсных языков, но вводит компромисс, слегка ухудшая качество генерации. (3) Вопреки предыдущим работам, мы наблюдаем существенные отклонения от классификации языков по их влиянию на кросс-языковой перенос: языки, классифицированные как альтруистические, часто негативно влияют на родственные языки, эгоистичные языки демонстрируют условное и зависящее от конфигурации поведение, а стагнирующие языки показывают удивительную адаптивность при определенных условиях CPT. Эти сложные взаимодействия подчеркивают сложность обучения многоязычным представлениям, акцентируя важность систематических исследований обобщаемой классификации языков для разработки будущих стратегий многоязычного CPT.

English

Large Language Models (LLMs) exhibit significant disparities in performance across languages, primarily benefiting high-resource languages while marginalizing underrepresented ones. Continual Pretraining (CPT) has emerged as a promising approach to address this imbalance, although the relative effectiveness of monolingual, bilingual, and code-augmented data strategies remains unclear. This study systematically evaluates 36 CPT configurations involving three multilingual base models, across 30+ languages categorized as altruistic, selfish, and stagnant, spanning various resource levels. Our findings reveal three major insights: (1) Bilingual CPT improves multilingual classification but often causes language mixing issues during generation. (2) Including programming code data during CPT consistently enhances multilingual classification accuracy, particularly benefiting low-resource languages, but introduces a trade-off by slightly degrading generation quality. (3) Contrary to prior work, we observe substantial deviations from language classifications according to their impact on cross-lingual transfer: Languages classified as altruistic often negatively affect related languages, selfish languages show conditional and configuration-dependent behavior, and stagnant languages demonstrate surprising adaptability under certain CPT conditions. These nuanced interactions emphasize the complexity of multilingual representation learning, underscoring the importance of systematic studies on generalizable language classification to inform future multilingual CPT strategies.