BeyondWeb: Erkenntnisse aus der Skalierung synthetischer Daten für das Pretraining auf Billionen-Maßstab

papers.abstract

Jüngste Fortschritte im Vortraining großer Sprachmodelle (LLMs) haben gezeigt, dass die bloße Skalierung der Datenmenge schließlich zu abnehmenden Erträgen führt und an eine Datenwand stößt. Als Reaktion darauf hat sich die Verwendung synthetischer Daten für das Vortraining als vielversprechendes Paradigma erwiesen, um die Grenzen der Leistungsfähigkeit zu erweitern. Dennoch sind die Faktoren, die die Qualität synthetischer Daten beeinflussen, noch weitgehend unverstanden. In dieser Arbeit stellen wir BeyondWeb vor, ein Framework zur Erzeugung synthetischer Daten, das hochwertige synthetische Daten für das Vortraining produziert. BeyondWeb erweitert die Fähigkeiten traditioneller Web-Scale-Datensätze erheblich und übertrifft state-of-the-art synthetische Vortrainingsdatensätze wie Cosmopedia und die hochwertige synthetische Teilmenge von Nemotron-CC (Nemotron-Synth) um bis zu 5,1 Prozentpunkte (pp) bzw. 2,6 pp, gemittelt über eine Reihe von 14 Benchmark-Evaluierungen. Es ermöglicht bis zu 7,7-mal schnelleres Training als offene Webdaten und 2,7-mal schneller als Nemotron-Synth. Bemerkenswerterweise übertrifft ein 3B-Modell, das für 180B Tokens auf BeyondWeb trainiert wurde, ein 8B-Modell, das für das gleiche Token-Budget auf Cosmopedia trainiert wurde. Wir präsentieren auch mehrere Erkenntnisse aus BeyondWeb zu synthetischen Daten für das Vortraining: was ihre Vorteile antreibt, welche Daten umformuliert werden sollten und wie, sowie den Einfluss von Modellgröße und -familie auf die Datenqualität. Insgesamt zeigt unsere Arbeit, dass es keine Universallösung für die Erzeugung hochwertiger synthetischer Vortrainingsdaten gibt. Die besten Ergebnisse erfordern die gemeinsame Optimierung vieler Faktoren, eine anspruchsvolle Aufgabe, die rigorose Wissenschaft und praktische Expertise erfordert. Naive Ansätze können bescheidene Verbesserungen erzielen, möglicherweise zu hohen Kosten, während gut ausgeführte Methoden transformative Verbesserungen bewirken können, wie BeyondWeb exemplarisch zeigt.

English

Recent advances in large language model (LLM) pretraining have shown that simply scaling data quantity eventually leads to diminishing returns, hitting a data wall. In response, the use of synthetic data for pretraining has emerged as a promising paradigm for pushing the frontier of performance. Despite this, the factors affecting synthetic data quality remain poorly understood. In this work, we introduce BeyondWeb, a synthetic data generation framework that produces high-quality synthetic data for pretraining. BeyondWeb significantly extends the capabilities of traditional web-scale datasets, outperforming state-of-the-art synthetic pretraining datasets such as Cosmopedia and Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1 percentage points (pp) and 2.6pp, respectively, when averaged across a suite of 14 benchmark evaluations. It delivers up to 7.7x faster training than open web data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for 180B tokens on BeyondWeb outperforms an 8B model trained for the same token budget on Cosmopedia. We also present several insights from BeyondWeb on synthetic data for pretraining: what drives its benefits, which data to rephrase and how, and the impact of model size and family on data quality. Overall, our work shows that there's no silver bullet for generating high-quality synthetic pretraining data. The best outcomes require jointly optimizing many factors, a challenging task that requires rigorous science and practical expertise. Naive approaches can yield modest improvements, potentially at great cost, while well-executed methods can yield transformative improvements, as exemplified by BeyondWeb.

BeyondWeb: Erkenntnisse aus der Skalierung synthetischer Daten für das Pretraining auf Billionen-Maßstab

BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

papers.abstract

Support