OptiMer: Оптимальное объединение векторов распределения превосходит смешивание данных при дообучении языковых моделей

OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training

March 30, 2026

Авторы: Haiyue Song, Masao Utiyama

cs.AI

Аннотация

Непрерывное предварительное обучение широко используется для адаптации больших языковых моделей (LLM) к целевым языкам и доменам, однако соотношение смеси обучающих данных остается чувствительным гиперпараметром, настройка которого требует больших затрат: его необходимо фиксировать до начала обучения, а неоптимальный выбор может привести к потере недель вычислительных ресурсов. В данной работе мы предлагаем метод OptiMer, который разделяет выбор соотношения и процесс обучения: мы обучаем по одной модели непрерывного предварительного обучения (CPT) для каждого набора данных, извлекаем вектор распределения каждой модели, который отражает сдвиг параметров, вызванный этим набором данных, и постфактум ищем оптимальные веса композиции с помощью байесовской оптимизации. Эксперименты на модели Gemma 3 27B для различных языков (японский, китайский) и доменов (математика, программирование) показывают, что OptiMer стабильно превосходит базовые методы смешивания данных и усреднения моделей при затратах на поиск в 15–35 раз ниже. Ключевые результаты свидетельствуют, что 1) оптимизированные веса можно интерпретировать как коэффициенты смешивания данных, и повторное обучение с этими коэффициентами улучшает метод CPT со смешиванием данных, и 2) один и тот же пул векторов можно повторно оптимизировать для заданной цели без какого-либо переобучения, создавая модели, адаптированные под конкретную задачу, по требованию. Наша работа демонстрирует, что выбор соотношения смеси данных, традиционно принимаемый на этапе предварительного обучения, можно переформулировать как задачу постфактум оптимизации над векторами распределения, предлагая более гибкую парадигму для непрерывного предварительного обучения.

English

Continual pre-training is widely used to adapt LLMs to target languages and domains, yet the mixture ratio of training data remains a sensitive hyperparameter that is expensive to tune: they must be fixed before training begins, and a suboptimal choice can waste weeks of compute. In this work, we propose OptiMer, which decouples ratio selection from training: we train one CPT model per dataset, extract each model's distribution vector, which represents the parameter shift induced by that dataset, and search for optimal composition weights post-hoc via Bayesian optimization. Experiments on Gemma 3 27B across languages (Japanese, Chinese) and domains (Math, Code) show that OptiMer consistently outperforms data mixture and model averaging baselines with 15-35 times lower search cost. Key findings reveal that 1) the optimized weights can be interpreted as data mixture ratios, and retraining with these ratios improves data mixture CPT, and 2) the same vector pool can be re-optimized for a given objective without any retraining, producing target-tailored models on demand. Our work establishes that data mixture ratio selection, traditionally a pre-training decision, can be reformulated as a post-hoc optimization over distribution vectors, offering a more flexible paradigm for continual pre-training.