Neubewertung des mehrsprachigen kontinuierlichen Vortrainierens: Datenmischung zur Anpassung von LLMs über Sprachen und Ressourcen hinweg

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

April 5, 2025

Autoren: Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen erhebliche Leistungsunterschiede zwischen verschiedenen Sprachen, wobei sie hauptsächlich hochressourcenreiche Sprachen begünstigen, während unterrepräsentierte Sprachen marginalisiert werden. Kontinuierliches Vortraining (Continual Pretraining, CPT) hat sich als vielversprechender Ansatz erwiesen, um dieses Ungleichgewicht zu adressieren, obwohl die relative Wirksamkeit von monolingualen, bilingualen und code-augmentierten Datenstrategien noch unklar ist. Diese Studie evaluiert systematisch 36 CPT-Konfigurationen, die drei multilinguale Basismodelle umfassen, über 30+ Sprachen hinweg, die als altruistisch, egoistisch und stagnierend kategorisiert sind und verschiedene Ressourcenniveaus abdecken. Unsere Ergebnisse offenbaren drei wesentliche Erkenntnisse: (1) Bilinguales CPT verbessert die multilinguale Klassifikation, führt jedoch häufig zu Sprachmischungsproblemen während der Generierung. (2) Die Einbeziehung von Programmiercode-Daten während des CPT steigert durchgängig die Genauigkeit der multilingualen Klassifikation, insbesondere zugunsten ressourcenarmer Sprachen, führt jedoch zu einem Kompromiss durch eine leichte Verschlechterung der Generierungsqualität. (3) Im Gegensatz zu früheren Arbeiten beobachten wir erhebliche Abweichungen von Sprachklassifikationen gemäß ihrer Auswirkung auf den sprachübergreifenden Transfer: Sprachen, die als altruistisch klassifiziert sind, wirken sich oft negativ auf verwandte Sprachen aus, egoistische Sprachen zeigen ein bedingtes und konfigurationsabhängiges Verhalten, und stagnierende Sprachen demonstrieren überraschende Anpassungsfähigkeit unter bestimmten CPT-Bedingungen. Diese differenzierten Interaktionen unterstreichen die Komplexität des multilingualen Repräsentationslernens und betonen die Bedeutung systematischer Studien zur generalisierbaren Sprachklassifikation, um zukünftige multilinguale CPT-Strategien zu informieren.

English

Large Language Models (LLMs) exhibit significant disparities in performance across languages, primarily benefiting high-resource languages while marginalizing underrepresented ones. Continual Pretraining (CPT) has emerged as a promising approach to address this imbalance, although the relative effectiveness of monolingual, bilingual, and code-augmented data strategies remains unclear. This study systematically evaluates 36 CPT configurations involving three multilingual base models, across 30+ languages categorized as altruistic, selfish, and stagnant, spanning various resource levels. Our findings reveal three major insights: (1) Bilingual CPT improves multilingual classification but often causes language mixing issues during generation. (2) Including programming code data during CPT consistently enhances multilingual classification accuracy, particularly benefiting low-resource languages, but introduces a trade-off by slightly degrading generation quality. (3) Contrary to prior work, we observe substantial deviations from language classifications according to their impact on cross-lingual transfer: Languages classified as altruistic often negatively affect related languages, selfish languages show conditional and configuration-dependent behavior, and stagnant languages demonstrate surprising adaptability under certain CPT conditions. These nuanced interactions emphasize the complexity of multilingual representation learning, underscoring the importance of systematic studies on generalizable language classification to inform future multilingual CPT strategies.