BeyondWeb : Leçons tirées de la mise à l’échelle de données synthétiques pour un pré-entraînement à l’échelle du trillion

BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

August 14, 2025

papers.authors: Pratyush Maini, Vineeth Dorna, Parth Doshi, Aldo Carranza, Fan Pan, Jack Urbanek, Paul Burstein, Alex Fang, Alvin Deng, Amro Abbas, Brett Larsen, Cody Blakeney, Charvi Bannur, Christina Baek, Darren Teh, David Schwab, Haakon Mongstad, Haoli Yin, Josh Wills, Kaleigh Mentzer, Luke Merrick, Ricardo Monti, Rishabh Adiga, Siddharth Joshi, Spandan Das, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt

cs.AI

papers.abstract

Les récentes avancées dans le pré-entraînement des grands modèles de langage (LLM) ont montré que l'augmentation simple de la quantité de données finit par atteindre des rendements décroissants, rencontrant un « mur de données ». En réponse, l'utilisation de données synthétiques pour le pré-entraînement est apparue comme un paradigme prometteur pour repousser les limites de la performance. Malgré cela, les facteurs influençant la qualité des données synthétiques restent mal compris. Dans ce travail, nous présentons BeyondWeb, un cadre de génération de données synthétiques qui produit des données de haute qualité pour le pré-entraînement. BeyondWeb étend considérablement les capacités des ensembles de données traditionnels à l'échelle du web, surpassant les ensembles de données synthétiques de pointe tels que Cosmopedia et le sous-ensemble de haute qualité de Nemotron-CC (Nemotron-Synth) respectivement de 5,1 points de pourcentage (pp) et 2,6 pp en moyenne sur une série de 14 évaluations de référence. Il permet un entraînement jusqu'à 7,7 fois plus rapide que les données web ouvertes et 2,7 fois plus rapide que Nemotron-Synth. Fait remarquable, un modèle de 3B entraîné sur 180B tokens avec BeyondWeb surpasse un modèle de 8B entraîné avec le même budget de tokens sur Cosmopedia. Nous présentons également plusieurs insights tirés de BeyondWeb sur les données synthétiques pour le pré-entraînement : ce qui motive leurs avantages, quelles données reformuler et comment, ainsi que l'impact de la taille et de la famille du modèle sur la qualité des données. Globalement, notre travail montre qu'il n'existe pas de solution miracle pour générer des données synthétiques de haute qualité pour le pré-entraînement. Les meilleurs résultats nécessitent d'optimiser conjointement de nombreux facteurs, une tâche complexe qui exige une science rigoureuse et une expertise pratique. Les approches naïves peuvent apporter des améliorations modestes, potentiellement à un coût élevé, tandis que des méthodes bien exécutées peuvent conduire à des améliorations transformatives, comme le démontre BeyondWeb.

English

Recent advances in large language model (LLM) pretraining have shown that simply scaling data quantity eventually leads to diminishing returns, hitting a data wall. In response, the use of synthetic data for pretraining has emerged as a promising paradigm for pushing the frontier of performance. Despite this, the factors affecting synthetic data quality remain poorly understood. In this work, we introduce BeyondWeb, a synthetic data generation framework that produces high-quality synthetic data for pretraining. BeyondWeb significantly extends the capabilities of traditional web-scale datasets, outperforming state-of-the-art synthetic pretraining datasets such as Cosmopedia and Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1 percentage points (pp) and 2.6pp, respectively, when averaged across a suite of 14 benchmark evaluations. It delivers up to 7.7x faster training than open web data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for 180B tokens on BeyondWeb outperforms an 8B model trained for the same token budget on Cosmopedia. We also present several insights from BeyondWeb on synthetic data for pretraining: what drives its benefits, which data to rephrase and how, and the impact of model size and family on data quality. Overall, our work shows that there's no silver bullet for generating high-quality synthetic pretraining data. The best outcomes require jointly optimizing many factors, a challenging task that requires rigorous science and practical expertise. Naive approaches can yield modest improvements, potentially at great cost, while well-executed methods can yield transformative improvements, as exemplified by BeyondWeb.