予測的データ選択：予測するデータが教えるデータである

Predictive Data Selection: The Data That Predicts Is the Data That Teaches

March 2, 2025

著者: Kashun Shum, Yuzhen Huang, Hongjian Zou, Ding Qi, Yixuan Liao, Xiaoxin Chen, Qian Liu, Junxian He

cs.AI

要旨

言語モデルの事前学習は、大規模なコーパスを用いて行われ、データの品質が重要な役割を果たします。本研究では、事前学習中のデータの貢献度を直接推定し、効率的な方法で事前学習データを選択することを目指します。具体的には、最近の研究結果から着想を得て、特定のテキストに対する多様なモデルの圧縮効率（すなわち正規化された損失）が、テキストのドメインが下流のベンチマークと一致する場合、その下流の性能と強く相関することを示しています（Huang et al., 2024）。この観察に基づいて、モデルの損失が下流の能力を予測するデータは、学習に効果的に貢献するという仮説を立てます。この洞察を活用するために、データの予測力に基づくデータ選択（PreSelect）を導入します。これは、fastTextベースのスコアラーを訓練および展開するだけで済む、軽量で効率的なデータ選択方法です。1Bおよび3Bパラメータのモデルを用いた包括的な実験を通じて、PreSelectで選択された30Bトークンで訓練されたモデルが、300Bトークンで訓練されたベースラインの性能を上回り、計算リソースを10分の1に削減できることを示します。さらに、PreSelectは、3Bモデルを100Bトークンで訓練した場合、DCLMやFineWeb-Eduなどの他の競合するデータ選択ベースラインを大幅に上回ります。訓練されたデータ選択スコアラーとキュレーションされたデータセットをhttps://github.com/hkust-nlp/PreSelectで公開しています。

English

Language model pretraining involves training on extensive corpora, where data quality plays a pivotal role. In this work, we aim to directly estimate the contribution of data during pretraining and select pretraining data in an efficient manner. Specifically, we draw inspiration from recent findings showing that compression efficiency (i.e., the normalized loss) of diverse models on certain text correlates strongly with their downstream performance, when the text domain aligns with the downstream benchmark (Huang et al., 2024). Building on this observation, we hypothesize that data on which model losses are predictive of downstream abilities also contribute effectively to learning. To leverage this insight, we introduce data selection based on data's Predictive strength (Preselect), a lightweight and efficient data selection method that requires training and deploying only a fastText-based scorer. Through comprehensive experiments with 1B and 3B parameter models, we demonstrate that models trained on 30B tokens selected with PreSelect surpasses the performance of a vanilla baseline trained on 300B tokens, achieving a 10x reduction in compute requirements. Furthermore, PreSelect significantly outperforms other competitive data selection baselines, such as DCLM and FineWeb-Edu on a scale of 3B models trained on 100B tokens. We open-source our trained data selection scorer along with the curated datasets at https://github.com/hkust-nlp/PreSelect.