ChatPaper.aiChatPaper

BeyondWeb: Уроки масштабирования синтетических данных для предварительного обучения на триллионном уровне

BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

August 14, 2025
Авторы: Pratyush Maini, Vineeth Dorna, Parth Doshi, Aldo Carranza, Fan Pan, Jack Urbanek, Paul Burstein, Alex Fang, Alvin Deng, Amro Abbas, Brett Larsen, Cody Blakeney, Charvi Bannur, Christina Baek, Darren Teh, David Schwab, Haakon Mongstad, Haoli Yin, Josh Wills, Kaleigh Mentzer, Luke Merrick, Ricardo Monti, Rishabh Adiga, Siddharth Joshi, Spandan Das, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt
cs.AI

Аннотация

Недавние достижения в предварительном обучении крупных языковых моделей (LLM) показали, что простое увеличение объема данных в конечном итоге приводит к уменьшению отдачи, достигая так называемой "стены данных". В ответ на это использование синтетических данных для предварительного обучения стало перспективным подходом для расширения границ производительности. Тем не менее, факторы, влияющие на качество синтетических данных, остаются малоизученными. В данной работе мы представляем BeyondWeb — фреймворк для генерации синтетических данных, который создает высококачественные данные для предварительного обучения. BeyondWeb значительно расширяет возможности традиционных наборов данных веб-масштаба, превосходя современные синтетические наборы данных для предварительного обучения, такие как Cosmopedia и высококачественное синтетическое подмножество Nemotron-CC (Nemotron-Synth), на 5,1 и 2,6 процентных пункта (п.п.) соответственно, при усреднении по набору из 14 бенчмарков. Он обеспечивает до 7,7 раз более быстрое обучение по сравнению с данными из открытого веба и в 2,7 раза быстрее, чем Nemotron-Synth. Примечательно, что модель объемом 3 миллиарда параметров, обученная на 180 миллиардах токенов с использованием BeyondWeb, превосходит модель объемом 8 миллиардов параметров, обученную на том же количестве токенов с использованием Cosmopedia. Мы также представляем несколько инсайтов, полученных благодаря BeyondWeb, касающихся синтетических данных для предварительного обучения: что определяет их преимущества, какие данные следует перефразировать и как, а также влияние размера и семейства модели на качество данных. В целом, наша работа показывает, что не существует универсального решения для генерации высококачественных синтетических данных для предварительного обучения. Лучшие результаты требуют совместной оптимизации множества факторов — сложной задачи, которая требует строгого научного подхода и практического опыта. Наивные подходы могут дать скромные улучшения, возможно, с большими затратами, тогда как хорошо продуманные методы могут привести к трансформационным улучшениям, как это демонстрирует BeyondWeb.
English
Recent advances in large language model (LLM) pretraining have shown that simply scaling data quantity eventually leads to diminishing returns, hitting a data wall. In response, the use of synthetic data for pretraining has emerged as a promising paradigm for pushing the frontier of performance. Despite this, the factors affecting synthetic data quality remain poorly understood. In this work, we introduce BeyondWeb, a synthetic data generation framework that produces high-quality synthetic data for pretraining. BeyondWeb significantly extends the capabilities of traditional web-scale datasets, outperforming state-of-the-art synthetic pretraining datasets such as Cosmopedia and Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1 percentage points (pp) and 2.6pp, respectively, when averaged across a suite of 14 benchmark evaluations. It delivers up to 7.7x faster training than open web data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for 180B tokens on BeyondWeb outperforms an 8B model trained for the same token budget on Cosmopedia. We also present several insights from BeyondWeb on synthetic data for pretraining: what drives its benefits, which data to rephrase and how, and the impact of model size and family on data quality. Overall, our work shows that there's no silver bullet for generating high-quality synthetic pretraining data. The best outcomes require jointly optimizing many factors, a challenging task that requires rigorous science and practical expertise. Naive approaches can yield modest improvements, potentially at great cost, while well-executed methods can yield transformative improvements, as exemplified by BeyondWeb.
PDF462August 18, 2025