BeyondWeb: Lezioni dal ridimensionamento di dati sintetici per il pre-addestramento su scala trilione

Abstract

I recenti progressi nel pre-addestramento di modelli linguistici su larga scala (LLM) hanno dimostrato che il semplice aumento della quantità di dati porta a rendimenti decrescenti, raggiungendo un "muro dei dati". In risposta, l'uso di dati sintetici per il pre-addestramento è emerso come un paradigma promettente per spingere i limiti delle prestazioni. Nonostante ciò, i fattori che influenzano la qualità dei dati sintetici rimangono poco compresi. In questo lavoro, introduciamo BeyondWeb, un framework di generazione di dati sintetici che produce dati sintetici di alta qualità per il pre-addestramento. BeyondWeb estende significativamente le capacità dei tradizionali dataset su scala web, superando i migliori dataset sintetici per il pre-addestramento come Cosmopedia e il sottoinsieme di alta qualità di Nemotron-CC (Nemotron-Synth) rispettivamente fino a 5,1 punti percentuali (pp) e 2,6 pp, in media su una suite di 14 valutazioni benchmark. Offre un addestramento fino a 7,7 volte più veloce rispetto ai dati web aperti e 2,7 volte più veloce rispetto a Nemotron-Synth. In modo notevole, un modello da 3B addestrato su 180B token con BeyondWeb supera un modello da 8B addestrato con lo stesso budget di token su Cosmopedia. Presentiamo inoltre diverse intuizioni da BeyondWeb sui dati sintetici per il pre-addestramento: cosa ne guida i benefici, quali dati riformulare e come, e l'impatto delle dimensioni e della famiglia del modello sulla qualità dei dati. Nel complesso, il nostro lavoro dimostra che non esiste una soluzione universale per generare dati sintetici di alta qualità per il pre-addestramento. I migliori risultati richiedono l'ottimizzazione congiunta di molti fattori, un compito impegnativo che richiede scienza rigorosa e competenza pratica. Approcci ingenui possono portare a miglioramenti modesti, potenzialmente a costi elevati, mentre metodi ben eseguiti possono produrre miglioramenti trasformativi, come dimostrato da BeyondWeb.

English

Recent advances in large language model (LLM) pretraining have shown that simply scaling data quantity eventually leads to diminishing returns, hitting a data wall. In response, the use of synthetic data for pretraining has emerged as a promising paradigm for pushing the frontier of performance. Despite this, the factors affecting synthetic data quality remain poorly understood. In this work, we introduce BeyondWeb, a synthetic data generation framework that produces high-quality synthetic data for pretraining. BeyondWeb significantly extends the capabilities of traditional web-scale datasets, outperforming state-of-the-art synthetic pretraining datasets such as Cosmopedia and Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1 percentage points (pp) and 2.6pp, respectively, when averaged across a suite of 14 benchmark evaluations. It delivers up to 7.7x faster training than open web data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for 180B tokens on BeyondWeb outperforms an 8B model trained for the same token budget on Cosmopedia. We also present several insights from BeyondWeb on synthetic data for pretraining: what drives its benefits, which data to rephrase and how, and the impact of model size and family on data quality. Overall, our work shows that there's no silver bullet for generating high-quality synthetic pretraining data. The best outcomes require jointly optimizing many factors, a challenging task that requires rigorous science and practical expertise. Naive approaches can yield modest improvements, potentially at great cost, while well-executed methods can yield transformative improvements, as exemplified by BeyondWeb.

BeyondWeb: Lezioni dal ridimensionamento di dati sintetici per il pre-addestramento su scala trilione

BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

Abstract

Support