Repensando o Pré-treinamento Contínuo Multilíngue: Mistura de Dados para Adaptação de LLMs entre Idiomas e Recursos

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

April 5, 2025

Autores: Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) exibem disparidades significativas de desempenho entre idiomas, beneficiando principalmente línguas de alta disponibilidade de recursos enquanto marginalizam aquelas sub-representadas. O Pré-treinamento Contínuo (CPT) surgiu como uma abordagem promissora para lidar com esse desequilíbrio, embora a eficácia relativa de estratégias de dados monolíngues, bilíngues e aumentados com código ainda não esteja clara. Este estudo avalia sistematicamente 36 configurações de CPT envolvendo três modelos base multilingues, abrangendo mais de 30 idiomas categorizados como altruístas, egoístas e estagnados, em diversos níveis de recursos. Nossas descobertas revelam três principais insights: (1) O CPT bilíngue melhora a classificação multilingue, mas frequentemente causa problemas de mistura de idiomas durante a geração. (2) A inclusão de dados de código de programação durante o CPT consistentemente aumenta a precisão da classificação multilingue, beneficiando particularmente idiomas de baixa disponibilidade de recursos, mas introduz uma compensação ao degradar levemente a qualidade da geração. (3) Contrariamente a trabalhos anteriores, observamos desvios substanciais das classificações de idiomas de acordo com seu impacto na transferência interlínguas: idiomas classificados como altruístas frequentemente afetam negativamente idiomas relacionados, idiomas egoístas apresentam comportamento condicional e dependente da configuração, e idiomas estagnados demonstram uma surpreendente adaptabilidade sob certas condições de CPT. Essas interações sutis enfatizam a complexidade do aprendizado de representações multilingues, destacando a importância de estudos sistemáticos sobre classificação de idiomas generalizáveis para orientar futuras estratégias de CPT multilingue.

English

Large Language Models (LLMs) exhibit significant disparities in performance across languages, primarily benefiting high-resource languages while marginalizing underrepresented ones. Continual Pretraining (CPT) has emerged as a promising approach to address this imbalance, although the relative effectiveness of monolingual, bilingual, and code-augmented data strategies remains unclear. This study systematically evaluates 36 CPT configurations involving three multilingual base models, across 30+ languages categorized as altruistic, selfish, and stagnant, spanning various resource levels. Our findings reveal three major insights: (1) Bilingual CPT improves multilingual classification but often causes language mixing issues during generation. (2) Including programming code data during CPT consistently enhances multilingual classification accuracy, particularly benefiting low-resource languages, but introduces a trade-off by slightly degrading generation quality. (3) Contrary to prior work, we observe substantial deviations from language classifications according to their impact on cross-lingual transfer: Languages classified as altruistic often negatively affect related languages, selfish languages show conditional and configuration-dependent behavior, and stagnant languages demonstrate surprising adaptability under certain CPT conditions. These nuanced interactions emphasize the complexity of multilingual representation learning, underscoring the importance of systematic studies on generalizable language classification to inform future multilingual CPT strategies.