RefineX: Aprendendo a Refinar Dados de Pré-treinamento em Escala a partir de Programas Orientados por Especialistas

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Autores: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Resumo

As capacidades fundamentais dos grandes modelos de linguagem (LLMs) são profundamente influenciadas pela qualidade de seus corpora de pré-treinamento. No entanto, aprimorar a qualidade dos dados em escala continua sendo um desafio significativo, principalmente devido à relação de compromisso entre a eficácia do refinamento e a eficiência do processamento. Embora a filtragem baseada em regras permaneça o paradigma dominante, ela geralmente opera no nível do documento e carece da granularidade necessária para refinar conteúdos específicos dentro dos documentos. Inspirados por trabalhos emergentes, como o ProX, propomos o RefineX, uma nova estrutura para o refinamento cirúrgico em larga escala de dados de pré-treinamento por meio de tarefas de edição programática. O RefineX permite um refinamento de dados eficiente e de alta granularidade, preservando de forma confiável a diversidade e a naturalidade do texto bruto. A principal força do RefineX reside em destilar resultados de refinamento de ponta a ponta de alta qualidade, guiados por especialistas, em programas mínimos de deleção baseados em edições. Esse pipeline de destilação de alta precisão é usado para treinar um modelo de refinamento eficiente e confiável, capaz de melhorar sistematicamente cada instância do corpus em escala. Avaliamos o RefineX em pré-treinamentos do zero em múltiplas escalas de modelos e constatamos que ele supera consistentemente modelos treinados com dados brutos, filtrados ou refinados alternativamente em diversas tarefas subsequentes. No modelo de 750M, o RefineX proporciona ganhos médios de 2,6% a 7,2% em tarefas do lighteval e alcança desempenho comparável utilizando significativamente menos tokens de treinamento. Análises adicionais mostram que o RefineX aprimora de forma confiável a qualidade do texto com alta eficiência e precisão, superando abordagens anteriores, como a geração de ponta a ponta e o Prox-C. Esses resultados posicionam o RefineX como uma solução escalável, eficaz e confiável para otimizar dados de pré-treinamento em pipelines modernos de LLMs.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.