OptiMer: La Fusión Óptima de Vectores de Distribución es Mejor que la Mezcla de Datos para el Preentrenamiento Continuo
OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training
March 30, 2026
Autores: Haiyue Song, Masao Utiyama
cs.AI
Resumen
El preentrenamiento continuo se utiliza ampliamente para adaptar los LLM a idiomas y dominios objetivo, pero la proporción de mezcla de los datos de entrenamiento sigue siendo un hiperparámetro sensible y costoso de ajustar: debe fijarse antes de que comience el entrenamiento, y una elección subóptima puede desperdiciar semanas de cómputo. En este trabajo, proponemos OptiMer, que desacopla la selección de la proporción del entrenamiento: entrenamos un modelo de preentrenamiento continuo por conjunto de datos, extraemos el vector de distribución de cada modelo, que representa el cambio de parámetros inducido por ese conjunto de datos, y buscamos pesos de composición óptimos a posteriori mediante optimización bayesiana. Los experimentos en Gemma 3 27B en distintos idiomas (japonés, chino) y dominios (Matemáticas, Código) muestran que OptiMer supera consistentemente a los baselines de mezcla de datos y promediado de modelos con un coste de búsqueda entre 15 y 35 veces menor. Los hallazgos clave revelan que 1) los pesos optimizados pueden interpretarse como proporciones de mezcla de datos, y el reentrenamiento con estas proporciones mejora el preentrenamiento continuo por mezcla de datos, y 2) el mismo conjunto de vectores puede reoptimizarse para un objetivo dado sin ningún reentrenamiento, produciendo modelos a medida bajo demanda. Nuestro trabajo establece que la selección de la proporción de mezcla de datos, tradicionalmente una decisión de preentrenamiento, puede reformularse como una optimización a posteriori sobre vectores de distribución, ofreciendo un paradigma más flexible para el preentrenamiento continuo.
English
Continual pre-training is widely used to adapt LLMs to target languages and domains, yet the mixture ratio of training data remains a sensitive hyperparameter that is expensive to tune: they must be fixed before training begins, and a suboptimal choice can waste weeks of compute. In this work, we propose OptiMer, which decouples ratio selection from training: we train one CPT model per dataset, extract each model's distribution vector, which represents the parameter shift induced by that dataset, and search for optimal composition weights post-hoc via Bayesian optimization. Experiments on Gemma 3 27B across languages (Japanese, Chinese) and domains (Math, Code) show that OptiMer consistently outperforms data mixture and model averaging baselines with 15-35 times lower search cost. Key findings reveal that 1) the optimized weights can be interpreted as data mixture ratios, and retraining with these ratios improves data mixture CPT, and 2) the same vector pool can be re-optimized for a given objective without any retraining, producing target-tailored models on demand. Our work establishes that data mixture ratio selection, traditionally a pre-training decision, can be reformulated as a post-hoc optimization over distribution vectors, offering a more flexible paradigm for continual pre-training.