RefineX: Aprendizaje para Refinar Datos de Preentrenamiento a Escala mediante Programas Guiados por Expertos

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Autores: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Resumen

Las capacidades fundamentales de los modelos de lenguaje de gran escala (LLMs) están profundamente influenciadas por la calidad de sus corpus de preentrenamiento. Sin embargo, mejorar la calidad de los datos a gran escala sigue siendo un desafío significativo, principalmente debido al equilibrio entre la efectividad del refinamiento y la eficiencia del procesamiento. Si bien el filtrado basado en reglas sigue siendo el paradigma dominante, este generalmente opera a nivel de documento y carece de la granularidad necesaria para refinar contenido específico dentro de los documentos. Inspirados por trabajos emergentes como ProX, proponemos RefineX, un marco novedoso para el refinamiento quirúrgico a gran escala de datos de preentrenamiento mediante tareas de edición programática. RefineX permite un refinamiento de datos eficiente y de grano fino, preservando de manera confiable la diversidad y naturalidad del texto crudo. La fortaleza central de RefineX radica en destilar resultados de refinamiento de extremo a extremo de alta calidad, guiados por expertos, en programas mínimos de eliminación basados en ediciones. Esta canalización de destilación de alta precisión se utiliza para entrenar un modelo de refinamiento eficiente y confiable que puede mejorar sistemáticamente cada instancia en el corpus a gran escala. Evaluamos RefineX en preentrenamientos desde cero en múltiples escalas de modelos y encontramos que supera consistentemente a los modelos entrenados con datos crudos, filtrados o refinados alternativamente en diversas tareas posteriores. En el modelo de 750M, RefineX produce ganancias promedio del 2.6% al 7.2% en tareas de lighteval, y logra un rendimiento comparable utilizando significativamente menos tokens de entrenamiento. Un análisis adicional muestra que RefineX mejora de manera confiable la calidad del texto con alta eficiencia y precisión, superando enfoques previos como la generación de extremo a extremo y Prox-C. Estos resultados posicionan a RefineX como una solución escalable, efectiva y confiable para optimizar los datos de preentrenamiento en las canalizaciones modernas de LLMs.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.