OptiMer: Optimale Distributievector-samenvoeging Is Beter dan Datamenging voor Continue Voorafgaande Training

OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training

March 30, 2026

Auteurs: Haiyue Song, Masao Utiyama

cs.AI

Samenvatting

Continuele voortraining wordt veelvuldig gebruikt om grote taalmodelen aan te passen aan doeltalen en -domeinen, maar de mengverhouding van de trainingsgegevens blijft een gevoelige hyperparameter die kostbaar is om af te stemmen: ze moet voor aanvang van de training worden vastgesteld, en een suboptimale keuze kan weken aan rekentijd verspillen. In dit werk stellen we OptiMer voor, dat de verhoudingsselectie ontkoppelt van de training: we trainen één CPT-model per dataset, extraheren de distributievector van elk model, die de parametersverschuiving vertegenwoordigt die door die dataset wordt veroorzaakt, en zoeken achteraf naar optimale samenstellingsgewichten via Bayesiaanse optimalisatie. Experimenten met Gemma 3 27B voor talen (Japans, Chinees) en domeinen (Wiskunde, Code) tonen aan dat OptiMer consistent beter presteert dan baseline-methoden voor datamengsels en modelaveraging, met 15-35 keer lagere zoekkosten. Belangrijke bevindingen onthullen dat 1) de geoptimaliseerde gewichten kunnen worden geïnterpreteerd als datamengverhoudingen, en dat hertraining met deze verhoudingen CPT met datamengsels verbetert, en 2) dezelfde vectorpool voor een gegeven doelstelling opnieuw kan worden geoptimaliseerd zonder enige hertraining, waardoor op maat gemaakte modellen op aanvraag worden geproduceerd. Ons werk toont aan dat de selectie van datamengverhoudingen, traditioneel een beslissing vóór de training, kan worden hervormd tot een achteraf-optimalisatie over distributievectoren, wat een flexibeler paradigma biedt voor continue voortraining.

English

Continual pre-training is widely used to adapt LLMs to target languages and domains, yet the mixture ratio of training data remains a sensitive hyperparameter that is expensive to tune: they must be fixed before training begins, and a suboptimal choice can waste weeks of compute. In this work, we propose OptiMer, which decouples ratio selection from training: we train one CPT model per dataset, extract each model's distribution vector, which represents the parameter shift induced by that dataset, and search for optimal composition weights post-hoc via Bayesian optimization. Experiments on Gemma 3 27B across languages (Japanese, Chinese) and domains (Math, Code) show that OptiMer consistently outperforms data mixture and model averaging baselines with 15-35 times lower search cost. Key findings reveal that 1) the optimized weights can be interpreted as data mixture ratios, and retraining with these ratios improves data mixture CPT, and 2) the same vector pool can be re-optimized for a given objective without any retraining, producing target-tailored models on demand. Our work establishes that data mixture ratio selection, traditionally a pre-training decision, can be reformulated as a post-hoc optimization over distribution vectors, offering a more flexible paradigm for continual pre-training.