TiKMiX: Neem Data Invloed op in Dynamisch Mengsel voor Taalmodel Pre-training

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

August 25, 2025

Auteurs: Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

cs.AI

Samenvatting

De datamix die wordt gebruikt bij het vooraf trainen van een taalmodel is een hoeksteen van de uiteindelijke prestaties. Een statische mixstrategie is echter suboptimaal, omdat de leerpreferenties van het model voor verschillende datadomeinen dynamisch verschuiven tijdens de training. Het observeren van deze evoluerende voorkeuren op een computationeel efficiënte manier blijft een grote uitdaging. Om dit aan te pakken, stellen we TiKMiX voor, een methode die de datamix dynamisch aanpast op basis van de evoluerende voorkeuren van het model. TiKMiX introduceert Group Influence, een efficiënte metriek om de impact van datadomeinen op het model te evalueren. Deze metriek maakt het mogelijk om het datamixprobleem te formuleren als een zoektocht naar een optimale, invloed-maximaliserende verdeling. We lossen dit op via twee benaderingen: TiKMiX-D voor directe optimalisatie, en TiKMiX-M, dat een regressiemodel gebruikt om een superieure mix te voorspellen. We hebben modellen getraind met verschillende aantallen parameters, op maximaal 1 biljoen tokens. TiKMiX-D overtreft de prestaties van state-of-the-art methoden zoals REGMIX terwijl slechts 20% van de computationele bronnen wordt gebruikt. TiKMiX-M leidt tot een gemiddelde prestatieverbetering van 2% over 9 downstream benchmarks. Onze experimenten tonen aan dat de datavoorkeuren van een model evolueren met de voortgang en schaal van de training, en we demonstreren dat het dynamisch aanpassen van de datamix op basis van Group Influence, een directe maatstaf van deze voorkeuren, de prestaties aanzienlijk verbetert door het onderverteren van data dat bij statische verhoudingen wordt waargenomen, te verminderen.

English

The data mixture used in the pre-training of a language model is a cornerstone of its final performance. However, a static mixing strategy is suboptimal, as the model's learning preferences for various data domains shift dynamically throughout training. Crucially, observing these evolving preferences in a computationally efficient manner remains a significant challenge. To address this, we propose TiKMiX, a method that dynamically adjusts the data mixture according to the model's evolving preferences. TiKMiX introduces Group Influence, an efficient metric for evaluating the impact of data domains on the model. This metric enables the formulation of the data mixing problem as a search for an optimal, influence-maximizing distribution. We solve this via two approaches: TiKMiX-D for direct optimization, and TiKMiX-M, which uses a regression model to predict a superior mixture. We trained models with different numbers of parameters, on up to 1 trillion tokens. TiKMiX-D exceeds the performance of state-of-the-art methods like REGMIX while using just 20% of the computational resources. TiKMiX-M leads to an average performance gain of 2% across 9 downstream benchmarks. Our experiments reveal that a model's data preferences evolve with training progress and scale, and we demonstrate that dynamically adjusting the data mixture based on Group Influence, a direct measure of these preferences, significantly improves performance by mitigating the underdigestion of data seen with static ratios.