RefineX: Het leren verfijnen van vooraf getrainde gegevens op grote schaal met behulp van door experts geleide programma's

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Auteurs: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Samenvatting

De fundamentele capaciteiten van grote taalmodellen (LLMs) worden sterk beïnvloed door de kwaliteit van hun pre-trainingscorpora. Het verbeteren van de data-kwaliteit op grote schaal blijft echter een aanzienlijke uitdaging, voornamelijk vanwege de afweging tussen verfijnings-effectiviteit en verwerkings-efficiëntie. Hoewel op regels gebaseerde filtering het dominante paradigma blijft, werkt dit doorgaans op documentniveau en ontbreekt het aan de granulariteit die nodig is om specifieke inhoud binnen documenten te verfijnen. Geïnspireerd door opkomend werk zoals ProX, stellen wij RefineX voor, een nieuw raamwerk voor grootschalige, chirurgische verfijning van pre-trainingsdata via programmatische bewerkingstaken. RefineX maakt efficiënte en fijnmazige dataverfijning mogelijk, terwijl het de diversiteit en natuurlijkheid van ruwe tekst betrouwbaar behoudt. De kernkracht van RefineX ligt in het destilleren van hoogwaardige, door experts begeleide end-to-end verfijningsresultaten naar minimale, op bewerkingen gebaseerde verwijderingsprogramma's. Deze hoog-precisie destillatiepijplijn wordt gebruikt om een efficiënt en betrouwbaar verfijningsmodel te trainen dat systematisch elk exemplaar in het corpus op grote schaal kan verbeteren. We evalueren RefineX in pre-training vanaf nul op meerdere modelschalen en constateren dat het consistent beter presteert dan modellen die getraind zijn op ruwe, gefilterde of alternatief verfijnde data, over diverse downstreamtaken. Op het 750M-model levert RefineX gemiddelde winsten van 2,6%-7,2% op lighteval-taken en bereikt het vergelijkbare prestaties met aanzienlijk minder trainings-tokens. Verdere analyse toont aan dat RefineX tekstkwaliteit betrouwbaar verbetert met zowel hoge efficiëntie als precisie, en daarbij eerdere benaderingen zoals end-to-end generatie en Prox-C overtreft. Deze resultaten positioneren RefineX als een schaalbare, effectieve en betrouwbare oplossing voor het optimaliseren van pre-trainingsdata in moderne LLM-pijplijnen.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.