Heroverwegen van meertalige continue voorpretraining: Datamenging voor het aanpassen van LLM's aan verschillende talen en bronnen

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

April 5, 2025

Auteurs: Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) vertonen aanzienlijke prestatieverschillen tussen talen, waarbij vooral hoog-resourcetalen profiteren en ondervertegenwoordigde talen worden benadeeld. Continue Voorafgaande Training (CPT) is naar voren gekomen als een veelbelovende aanpak om deze onbalans aan te pakken, hoewel de relatieve effectiviteit van monolinguale, tweetalige en code-aangevulde datastrategieën nog onduidelijk is. Deze studie evalueert systematisch 36 CPT-configuraties met drie multilinguale basismodellen, over 30+ talen die zijn gecategoriseerd als altruïstisch, egoïstisch en stagnerend, en die verschillende resourceniveaus omvatten. Onze bevindingen onthullen drie belangrijke inzichten: (1) Tweetalige CPT verbetert multilinguale classificatie, maar veroorzaakt vaak taalvermengingsproblemen tijdens generatie. (2) Het opnemen van programmeercodegegevens tijdens CPT verbetert consistent de nauwkeurigheid van multilinguele classificatie, met name ten gunste van laag-resourcetalen, maar introduceert een afweging door de generatiekwaliteit lichtelijk te verslechteren. (3) In tegenstelling tot eerder werk, observeren we aanzienlijke afwijkingen van taalclassificaties op basis van hun impact op cross-linguale transfer: Talen die als altruïstisch zijn geclassificeerd, hebben vaak een negatief effect op verwante talen, egoïstische talen vertonen conditioneel en configuratie-afhankelijk gedrag, en stagnerende talen tonen verrassende aanpassingsvermogen onder bepaalde CPT-omstandigheden. Deze genuanceerde interacties benadrukken de complexiteit van multilinguele representatieleer en onderstrepen het belang van systematische studies naar generaliseerbare taalclassificatie om toekomstige multilinguele CPT-strategieën te informeren.

English

Large Language Models (LLMs) exhibit significant disparities in performance across languages, primarily benefiting high-resource languages while marginalizing underrepresented ones. Continual Pretraining (CPT) has emerged as a promising approach to address this imbalance, although the relative effectiveness of monolingual, bilingual, and code-augmented data strategies remains unclear. This study systematically evaluates 36 CPT configurations involving three multilingual base models, across 30+ languages categorized as altruistic, selfish, and stagnant, spanning various resource levels. Our findings reveal three major insights: (1) Bilingual CPT improves multilingual classification but often causes language mixing issues during generation. (2) Including programming code data during CPT consistently enhances multilingual classification accuracy, particularly benefiting low-resource languages, but introduces a trade-off by slightly degrading generation quality. (3) Contrary to prior work, we observe substantial deviations from language classifications according to their impact on cross-lingual transfer: Languages classified as altruistic often negatively affect related languages, selfish languages show conditional and configuration-dependent behavior, and stagnant languages demonstrate surprising adaptability under certain CPT conditions. These nuanced interactions emphasize the complexity of multilingual representation learning, underscoring the importance of systematic studies on generalizable language classification to inform future multilingual CPT strategies.