BeyondWeb: Lições da Escalonamento de Dados Sintéticos para Pré-treinamento em Escala de Trilhões

Resumo

Avanços recentes no pré-treinamento de modelos de linguagem de grande escala (LLMs) mostraram que simplesmente aumentar a quantidade de dados eventualmente leva a retornos decrescentes, atingindo uma barreira de dados. Em resposta, o uso de dados sintéticos para pré-treinamento surgiu como um paradigma promissor para expandir os limites de desempenho. Apesar disso, os fatores que afetam a qualidade dos dados sintéticos ainda são pouco compreendidos. Neste trabalho, apresentamos o BeyondWeb, um framework de geração de dados sintéticos que produz dados sintéticos de alta qualidade para pré-treinamento. O BeyondWeb amplia significativamente as capacidades dos conjuntos de dados tradicionais em escala web, superando conjuntos de dados sintéticos de pré-treinamento state-of-the-art, como o Cosmopedia e o subconjunto de alta qualidade do Nemotron-CC (Nemotron-Synth), em até 5,1 pontos percentuais (pp) e 2,6 pp, respectivamente, quando avaliados em uma série de 14 benchmarks. Ele oferece um treinamento até 7,7 vezes mais rápido do que dados da web aberta e 2,7 vezes mais rápido do que o Nemotron-Synth. Notavelmente, um modelo de 3B treinado com 180B tokens no BeyondWeb supera um modelo de 8B treinado com o mesmo orçamento de tokens no Cosmopedia. Também apresentamos várias percepções do BeyondWeb sobre dados sintéticos para pré-treinamento: o que impulsiona seus benefícios, quais dados reformular e como, e o impacto do tamanho e da família do modelo na qualidade dos dados. No geral, nosso trabalho mostra que não há uma solução única para gerar dados sintéticos de pré-treinamento de alta qualidade. Os melhores resultados exigem a otimização conjunta de muitos fatores, uma tarefa desafiadora que requer ciência rigorosa e expertise prática. Abordagens ingênuas podem gerar melhorias modestas, potencialmente a um custo elevado, enquanto métodos bem executados podem resultar em melhorias transformadoras, como exemplificado pelo BeyondWeb.

English

Recent advances in large language model (LLM) pretraining have shown that simply scaling data quantity eventually leads to diminishing returns, hitting a data wall. In response, the use of synthetic data for pretraining has emerged as a promising paradigm for pushing the frontier of performance. Despite this, the factors affecting synthetic data quality remain poorly understood. In this work, we introduce BeyondWeb, a synthetic data generation framework that produces high-quality synthetic data for pretraining. BeyondWeb significantly extends the capabilities of traditional web-scale datasets, outperforming state-of-the-art synthetic pretraining datasets such as Cosmopedia and Nemotron-CC's high-quality synthetic subset (Nemotron-Synth) by up to 5.1 percentage points (pp) and 2.6pp, respectively, when averaged across a suite of 14 benchmark evaluations. It delivers up to 7.7x faster training than open web data and 2.7x faster than Nemotron-Synth. Remarkably, a 3B model trained for 180B tokens on BeyondWeb outperforms an 8B model trained for the same token budget on Cosmopedia. We also present several insights from BeyondWeb on synthetic data for pretraining: what drives its benefits, which data to rephrase and how, and the impact of model size and family on data quality. Overall, our work shows that there's no silver bullet for generating high-quality synthetic pretraining data. The best outcomes require jointly optimizing many factors, a challenging task that requires rigorous science and practical expertise. Naive approaches can yield modest improvements, potentially at great cost, while well-executed methods can yield transformative improvements, as exemplified by BeyondWeb.

BeyondWeb: Lições da Escalonamento de Dados Sintéticos para Pré-treinamento em Escala de Trilhões

BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

Resumo

Support