BeyondWeb: Lecciones del escalado de datos sintéticos para el preentrenamiento a escala de billones
BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining
August 14, 2025
Autores: Pratyush Maini, Vineeth Dorna, Parth Doshi, Aldo Carranza, Fan Pan, Jack Urbanek, Paul Burstein, Alex Fang, Alvin Deng, Amro Abbas, Brett Larsen, Cody Blakeney, Charvi Bannur, Christina Baek, Darren Teh, David Schwab, Haakon Mongstad, Haoli Yin, Josh Wills, Kaleigh Mentzer, Luke Merrick, Ricardo Monti, Rishabh Adiga, Siddharth Joshi, Spandan Das, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt
cs.AI
Resumen
Los avances recientes en el preentrenamiento de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) han demostrado que simplemente escalar la cantidad de datos eventualmente conduce a rendimientos decrecientes, alcanzando un "muro de datos". En respuesta, el uso de datos sintéticos para el preentrenamiento ha surgido como un paradigma prometedor para impulsar el límite del rendimiento. A pesar de esto, los factores que afectan la calidad de los datos sintéticos siguen siendo poco comprendidos. En este trabajo, presentamos BeyondWeb, un marco de generación de datos sintéticos que produce datos sintéticos de alta calidad para el preentrenamiento. BeyondWeb amplía significativamente las capacidades de los conjuntos de datos tradicionales a escala web, superando a los conjuntos de datos sintéticos de preentrenamiento más avanzados, como Cosmopedia y el subconjunto de alta calidad sintética de Nemotron-CC (Nemotron-Synth), en hasta 5.1 puntos porcentuales (pp) y 2.6 pp, respectivamente, cuando se promedian en una serie de 14 evaluaciones de referencia. Ofrece un entrenamiento hasta 7.7 veces más rápido que los datos de la web abierta y 2.7 veces más rápido que Nemotron-Synth. Notablemente, un modelo de 3B entrenado con 180B tokens en BeyondWeb supera a un modelo de 8B entrenado con el mismo presupuesto de tokens en Cosmopedia. También presentamos varias ideas derivadas de BeyondWeb sobre los datos sintéticos para el preentrenamiento: qué impulsa sus beneficios, qué datos parafrasear y cómo hacerlo, y el impacto del tamaño y la familia del modelo en la calidad de los datos. En general, nuestro trabajo muestra que no existe una solución única para generar datos sintéticos de preentrenamiento de alta calidad. Los mejores resultados requieren optimizar conjuntamente muchos factores, una tarea desafiante que exige ciencia rigurosa y experiencia práctica. Los enfoques ingenuos pueden producir mejoras modestas, potencialmente a un gran costo, mientras que los métodos bien ejecutados pueden generar mejoras transformadoras, como lo ejemplifica BeyondWeb.
English
Recent advances in large language model (LLM) pretraining have shown that
simply scaling data quantity eventually leads to diminishing returns, hitting a
data wall. In response, the use of synthetic data for pretraining has emerged
as a promising paradigm for pushing the frontier of performance. Despite this,
the factors affecting synthetic data quality remain poorly understood. In this
work, we introduce BeyondWeb, a synthetic data generation framework that
produces high-quality synthetic data for pretraining. BeyondWeb significantly
extends the capabilities of traditional web-scale datasets, outperforming
state-of-the-art synthetic pretraining datasets such as Cosmopedia and
Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1
percentage points (pp) and 2.6pp, respectively, when averaged across a suite of
14 benchmark evaluations. It delivers up to 7.7x faster training than open web
data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for
180B tokens on BeyondWeb outperforms an 8B model trained for the same token
budget on Cosmopedia. We also present several insights from BeyondWeb on
synthetic data for pretraining: what drives its benefits, which data to
rephrase and how, and the impact of model size and family on data quality.
Overall, our work shows that there's no silver bullet for generating
high-quality synthetic pretraining data. The best outcomes require jointly
optimizing many factors, a challenging task that requires rigorous science and
practical expertise. Naive approaches can yield modest improvements,
potentially at great cost, while well-executed methods can yield transformative
improvements, as exemplified by BeyondWeb.