RefineX: Обучение масштабируемой очистке данных предварительного обучения с использованием программ, управляемых экспертами

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025

Авторы: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng

cs.AI

Аннотация

Фундаментальные возможности больших языковых моделей (LLM) в значительной степени зависят от качества их предварительно обучаемых корпусов. Однако повышение качества данных в масштабе остается серьезной проблемой, главным образом из-за компромисса между эффективностью улучшения и производительностью обработки. Хотя фильтрация на основе правил остается доминирующей парадигмой, она обычно работает на уровне документов и не обладает достаточной детализацией для улучшения конкретного содержимого внутри документов. Вдохновленные новыми работами, такими как ProX, мы предлагаем RefineX — новый фреймворк для крупномасштабного, точечного улучшения предварительно обучаемых данных с помощью программных задач редактирования. RefineX обеспечивает эффективное и детализированное улучшение данных, надежно сохраняя разнообразие и естественность исходного текста. Основная сила RefineX заключается в преобразовании высококачественных, экспертно-направленных результатов сквозного улучшения в минимальные программы удаления на основе редактирования. Этот высокоточный процесс преобразования используется для обучения эффективной и надежной модели улучшения, которая может систематически улучшать каждый экземпляр в корпусе в масштабе. Мы оцениваем RefineX в ходе предварительного обучения с нуля на моделях различных масштабов и обнаруживаем, что он стабильно превосходит модели, обученные на сырых, отфильтрованных или альтернативно улучшенных данных, в разнообразных последующих задачах. На модели с 750 миллионами параметров RefineX обеспечивает средний прирост на 2,6%-7,2% в задачах lighteval и достигает сопоставимой производительности, используя значительно меньше токенов для обучения. Дополнительный анализ показывает, что RefineX надежно повышает качество текста с высокой эффективностью и точностью, превосходя предыдущие подходы, такие как сквозная генерация и Prox-C. Эти результаты позиционируют RefineX как масштабируемое, эффективное и надежное решение для оптимизации предварительно обучаемых данных в современных конвейерах LLM.

English

The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.