Selezione Predittiva dei Dati: I Dati che Predicono sono i Dati che Insegnano

Predictive Data Selection: The Data That Predicts Is the Data That Teaches

March 2, 2025

Autori: Kashun Shum, Yuzhen Huang, Hongjian Zou, Ding Qi, Yixuan Liao, Xiaoxin Chen, Qian Liu, Junxian He

cs.AI

Abstract

Il pretraining dei modelli linguistici prevede l'addestramento su corpora estesi, dove la qualità dei dati svolge un ruolo cruciale. In questo lavoro, ci proponiamo di stimare direttamente il contributo dei dati durante il pretraining e di selezionare i dati di pretraining in modo efficiente. In particolare, traiamo ispirazione da recenti scoperte che dimostrano come l'efficienza di compressione (ovvero la perdita normalizzata) di vari modelli su determinati testi sia fortemente correlata alle loro prestazioni downstream, quando il dominio del testo è allineato con il benchmark downstream (Huang et al., 2024). Basandoci su questa osservazione, ipotizziamo che i dati su cui le perdite del modello sono predittive delle capacità downstream contribuiscano efficacemente all'apprendimento. Per sfruttare questa intuizione, introduciamo la selezione dei dati basata sulla forza predittiva dei dati (PreSelect), un metodo leggero ed efficiente per la selezione dei dati che richiede l'addestramento e il dispiegamento di un solo valutatore basato su fastText. Attraverso esperimenti approfonditi con modelli da 1B e 3B parametri, dimostriamo che i modelli addestrati su 30B token selezionati con PreSelect superano le prestazioni di una baseline standard addestrata su 300B token, ottenendo una riduzione di 10x nei requisiti computazionali. Inoltre, PreSelect supera significativamente altre baseline competitive per la selezione dei dati, come DCLM e FineWeb-Edu, su una scala di modelli da 3B addestrati su 100B token. Rendiamo disponibile il nostro valutatore per la selezione dei dati addestrato insieme ai dataset curati all'indirizzo https://github.com/hkust-nlp/PreSelect.

English

Language model pretraining involves training on extensive corpora, where data quality plays a pivotal role. In this work, we aim to directly estimate the contribution of data during pretraining and select pretraining data in an efficient manner. Specifically, we draw inspiration from recent findings showing that compression efficiency (i.e., the normalized loss) of diverse models on certain text correlates strongly with their downstream performance, when the text domain aligns with the downstream benchmark (Huang et al., 2024). Building on this observation, we hypothesize that data on which model losses are predictive of downstream abilities also contribute effectively to learning. To leverage this insight, we introduce data selection based on data's Predictive strength (Preselect), a lightweight and efficient data selection method that requires training and deploying only a fastText-based scorer. Through comprehensive experiments with 1B and 3B parameter models, we demonstrate that models trained on 30B tokens selected with PreSelect surpasses the performance of a vanilla baseline trained on 300B tokens, achieving a 10x reduction in compute requirements. Furthermore, PreSelect significantly outperforms other competitive data selection baselines, such as DCLM and FineWeb-Edu on a scale of 3B models trained on 100B tokens. We open-source our trained data selection scorer along with the curated datasets at https://github.com/hkust-nlp/PreSelect.