TiKMiX: Incorporación de la Influencia de los Datos en Mezclas Dinámicas para el Preentrenamiento de Modelos de Lenguaje

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

August 25, 2025

Autores: Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

cs.AI

Resumen

La mezcla de datos utilizada en el preentrenamiento de un modelo de lenguaje es un pilar fundamental para su rendimiento final. Sin embargo, una estrategia de mezcla estática no es óptima, ya que las preferencias de aprendizaje del modelo para diversos dominios de datos cambian dinámicamente durante el entrenamiento. Es crucial destacar que observar estas preferencias en evolución de manera computacionalmente eficiente sigue siendo un desafío significativo. Para abordar esto, proponemos TiKMiX, un método que ajusta dinámicamente la mezcla de datos según las preferencias evolutivas del modelo. TiKMiX introduce la Influencia de Grupo, una métrica eficiente para evaluar el impacto de los dominios de datos en el modelo. Esta métrica permite formular el problema de la mezcla de datos como una búsqueda de una distribución óptima que maximice la influencia. Resolvemos esto mediante dos enfoques: TiKMiX-D para optimización directa y TiKMiX-M, que utiliza un modelo de regresión para predecir una mezcla superior. Entrenamos modelos con diferentes cantidades de parámetros, utilizando hasta 1 billón de tokens. TiKMiX-D supera el rendimiento de métodos de vanguardia como REGMIX mientras utiliza solo el 20% de los recursos computacionales. TiKMiX-M conduce a una mejora promedio del 2% en 9 puntos de referencia de tareas posteriores. Nuestros experimentos revelan que las preferencias de datos de un modelo evolucionan con el progreso del entrenamiento y la escala, y demostramos que ajustar dinámicamente la mezcla de datos basándose en la Influencia de Grupo, una medida directa de estas preferencias, mejora significativamente el rendimiento al mitigar la subdigestión de datos observada con proporciones estáticas.

English

The data mixture used in the pre-training of a language model is a cornerstone of its final performance. However, a static mixing strategy is suboptimal, as the model's learning preferences for various data domains shift dynamically throughout training. Crucially, observing these evolving preferences in a computationally efficient manner remains a significant challenge. To address this, we propose TiKMiX, a method that dynamically adjusts the data mixture according to the model's evolving preferences. TiKMiX introduces Group Influence, an efficient metric for evaluating the impact of data domains on the model. This metric enables the formulation of the data mixing problem as a search for an optimal, influence-maximizing distribution. We solve this via two approaches: TiKMiX-D for direct optimization, and TiKMiX-M, which uses a regression model to predict a superior mixture. We trained models with different numbers of parameters, on up to 1 trillion tokens. TiKMiX-D exceeds the performance of state-of-the-art methods like REGMIX while using just 20% of the computational resources. TiKMiX-M leads to an average performance gain of 2% across 9 downstream benchmarks. Our experiments reveal that a model's data preferences evolve with training progress and scale, and we demonstrate that dynamically adjusting the data mixture based on Group Influence, a direct measure of these preferences, significantly improves performance by mitigating the underdigestion of data seen with static ratios.