TiKMiX: Berücksichtigung des Dateneinflusses in dynamischen Mischungen für das Pre-Training von Sprachmodellen

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

August 25, 2025

papers.authors: Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

cs.AI

papers.abstract

Die Datenmischung, die beim Vortraining eines Sprachmodells verwendet wird, ist ein Grundpfeiler für dessen finale Leistung. Allerdings ist eine statische Mischstrategie suboptimal, da sich die Lernpräferenzen des Modells für verschiedene Datenbereiche dynamisch während des Trainings verändern. Entscheidend ist, dass die Beobachtung dieser sich entwickelnden Präferenzen auf eine recheneffiziente Weise eine erhebliche Herausforderung darstellt. Um dies zu adressieren, schlagen wir TiKMiX vor, eine Methode, die die Datenmischung dynamisch an die sich entwickelnden Präferenzen des Modells anpasst. TiKMiX führt den Gruppen-Einfluss ein, eine effiziente Metrik zur Bewertung der Auswirkung von Datenbereichen auf das Modell. Diese Metrik ermöglicht die Formulierung des Datenmischungsproblems als Suche nach einer optimalen, einflussmaximierenden Verteilung. Wir lösen dies durch zwei Ansätze: TiKMiX-D für die direkte Optimierung und TiKMiX-M, das ein Regressionsmodell verwendet, um eine überlegene Mischung vorherzusagen. Wir trainierten Modelle mit unterschiedlichen Parameternzahlen auf bis zu 1 Billion Token. TiKMiX-D übertrifft die Leistung von state-of-the-art Methoden wie REGMIX, während nur 20% der Rechenressourcen verwendet werden. TiKMiX-M führt zu einer durchschnittlichen Leistungssteigerung von 2% über 9 Downstream-Benchmarks hinweg. Unsere Experimente zeigen, dass sich die Datenpräferenzen eines Modells mit dem Trainingsfortschritt und der Skalierung entwickeln, und wir demonstrieren, dass die dynamische Anpassung der Datenmischung basierend auf dem Gruppen-Einfluss, einem direkten Maß dieser Präferenzen, die Leistung signifikant verbessert, indem die Unterverdauung von Daten, die bei statischen Verhältnissen beobachtet wird, gemildert wird.

English

The data mixture used in the pre-training of a language model is a cornerstone of its final performance. However, a static mixing strategy is suboptimal, as the model's learning preferences for various data domains shift dynamically throughout training. Crucially, observing these evolving preferences in a computationally efficient manner remains a significant challenge. To address this, we propose TiKMiX, a method that dynamically adjusts the data mixture according to the model's evolving preferences. TiKMiX introduces Group Influence, an efficient metric for evaluating the impact of data domains on the model. This metric enables the formulation of the data mixing problem as a search for an optimal, influence-maximizing distribution. We solve this via two approaches: TiKMiX-D for direct optimization, and TiKMiX-M, which uses a regression model to predict a superior mixture. We trained models with different numbers of parameters, on up to 1 trillion tokens. TiKMiX-D exceeds the performance of state-of-the-art methods like REGMIX while using just 20% of the computational resources. TiKMiX-M leads to an average performance gain of 2% across 9 downstream benchmarks. Our experiments reveal that a model's data preferences evolve with training progress and scale, and we demonstrate that dynamically adjusting the data mixture based on Group Influence, a direct measure of these preferences, significantly improves performance by mitigating the underdigestion of data seen with static ratios.