RefineX: Apprendimento per Affinare i Dati di Pre-addestramento su Scala attraverso Programmi Guidati da Esperti

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Autori: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Abstract

Le capacità fondamentali dei grandi modelli linguistici (LLM) sono profondamente influenzate dalla qualità dei loro corpora di pre-addestramento. Tuttavia, migliorare la qualità dei dati su larga scala rimane una sfida significativa, principalmente a causa del compromesso tra efficacia di raffinamento ed efficienza di elaborazione. Sebbene il filtraggio basato su regole rimanga il paradigma dominante, opera tipicamente a livello di documento e manca della granularità necessaria per affinare contenuti specifici all'interno dei documenti. Ispirati da lavori emergenti come ProX, proponiamo RefineX, un nuovo framework per il raffinamento chirurgico su larga scala dei dati di pre-addestramento attraverso task di editing programmatico. RefineX consente un raffinamento dei dati efficiente e granulare, preservando in modo affidabile la diversità e la naturalezza del testo grezzo. La forza principale di RefineX risiede nel distillare risultati di raffinamento end-to-end di alta qualità e guidati da esperti in programmi di cancellazione basati su modifiche minime. Questa pipeline di distillazione ad alta precisione viene utilizzata per addestrare un modello di raffinamento efficiente e affidabile che può migliorare sistematicamente ogni istanza del corpus su larga scala. Valutiamo RefineX attraverso il pre-addestramento da zero su più scale di modelli e riscontriamo che supera costantemente i modelli addestrati su dati grezzi, filtrati o alternativamente raffinati in una vasta gamma di task downstream. Sul modello da 750M, RefineX produce guadagni medi del 2,6%-7,2% sui task lighteval e raggiunge prestazioni comparabili utilizzando significativamente meno token di addestramento. Un'ulteriore analisi mostra che RefineX migliora in modo affidabile la qualità del testo con alta efficienza e precisione, superando approcci precedenti come la generazione end-to-end e Prox-C. Questi risultati posizionano RefineX come una soluzione scalabile, efficace e affidabile per ottimizzare i dati di pre-addestramento nelle pipeline moderne di LLM.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.