TiKMiX: Учет влияния данных в динамической смеси для предварительного обучения языковых моделей

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

August 25, 2025

Авторы: Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

cs.AI

Аннотация

Смесь данных, используемая при предварительном обучении языковой модели, является краеугольным камнем её итоговой производительности. Однако статическая стратегия смешивания оказывается неоптимальной, поскольку предпочтения модели в обучении для различных доменов данных динамически меняются в процессе тренировки. Ключевой проблемой остаётся эффективное с вычислительной точки зрения наблюдение за этими изменяющимися предпочтениями. Для решения этой задачи мы предлагаем TiKMiX — метод, который динамически корректирует смесь данных в соответствии с эволюцией предпочтений модели. TiKMiX вводит метрику Group Influence, позволяющую эффективно оценивать влияние доменов данных на модель. Эта метрика позволяет сформулировать задачу смешивания данных как поиск оптимального распределения, максимизирующего влияние. Мы решаем её с помощью двух подходов: TiKMiX-D для прямой оптимизации и TiKMiX-M, который использует регрессионную модель для прогнозирования улучшенной смеси. Мы обучили модели с различным количеством параметров на объёме данных до 1 триллиона токенов. TiKMiX-D превосходит производительность современных методов, таких как REGMIX, используя лишь 20% вычислительных ресурсов. TiKMiX-M обеспечивает средний прирост производительности на 2% на 9 тестовых наборах данных. Наши эксперименты показывают, что предпочтения модели в данных эволюционируют с прогрессом обучения и масштабом, и мы демонстрируем, что динамическая корректировка смеси данных на основе Group Influence — прямой меры этих предпочтений — значительно улучшает производительность, устраняя проблему недостаточного усвоения данных, наблюдаемую при статических соотношениях.

English

The data mixture used in the pre-training of a language model is a cornerstone of its final performance. However, a static mixing strategy is suboptimal, as the model's learning preferences for various data domains shift dynamically throughout training. Crucially, observing these evolving preferences in a computationally efficient manner remains a significant challenge. To address this, we propose TiKMiX, a method that dynamically adjusts the data mixture according to the model's evolving preferences. TiKMiX introduces Group Influence, an efficient metric for evaluating the impact of data domains on the model. This metric enables the formulation of the data mixing problem as a search for an optimal, influence-maximizing distribution. We solve this via two approaches: TiKMiX-D for direct optimization, and TiKMiX-M, which uses a regression model to predict a superior mixture. We trained models with different numbers of parameters, on up to 1 trillion tokens. TiKMiX-D exceeds the performance of state-of-the-art methods like REGMIX while using just 20% of the computational resources. TiKMiX-M leads to an average performance gain of 2% across 9 downstream benchmarks. Our experiments reveal that a model's data preferences evolve with training progress and scale, and we demonstrate that dynamically adjusting the data mixture based on Group Influence, a direct measure of these preferences, significantly improves performance by mitigating the underdigestion of data seen with static ratios.