RefineX : Apprentissage du raffinement des données de pré-entraînement à grande échelle à partir de programmes guidés par des experts

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Auteurs: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Résumé

Les capacités fondamentales des grands modèles de langage (LLM) sont profondément influencées par la qualité de leurs corpus de pré-entraînement. Cependant, améliorer la qualité des données à grande échelle reste un défi majeur, principalement en raison du compromis entre l'efficacité du raffinement et l'efficience du traitement. Bien que le filtrage basé sur des règles demeure le paradigme dominant, il opère généralement au niveau du document et manque de granularité pour affiner des contenus spécifiques au sein des documents. Inspirés par des travaux émergents tels que ProX, nous proposons RefineX, un nouveau cadre pour le raffinement chirurgical à grande échelle des données de pré-entraînement via des tâches d'édition programmatiques. RefineX permet un raffinement des données efficace et granulaire tout en préservant de manière fiable la diversité et le naturel du texte brut. La force principale de RefineX réside dans la distillation de résultats de raffinement de haute qualité, guidés par des experts et de bout en bout, en programmes de suppression basés sur des modifications minimales. Ce pipeline de distillation de haute précision est utilisé pour entraîner un modèle de raffinement efficace et fiable, capable d'améliorer systématiquement chaque instance du corpus à grande échelle. Nous évaluons RefineX dans des scénarios de pré-entraînement à partir de zéro à plusieurs échelles de modèles et constatons qu'il surpasse systématiquement les modèles entraînés sur des données brutes, filtrées ou raffinées de manière alternative dans diverses tâches en aval. Sur le modèle de 750M, RefineX engendre des gains moyens de 2,6 % à 7,2 % sur les tâches lighteval, et atteint des performances comparables en utilisant significativement moins de tokens d'entraînement. Une analyse approfondie montre que RefineX améliore de manière fiable la qualité du texte avec une grande efficience et précision, surpassant les approches antérieures telles que la génération de bout en bout et Prox-C. Ces résultats positionnent RefineX comme une solution scalable, efficace et fiable pour optimiser les données de pré-entraînement dans les pipelines modernes de LLM.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.