ChatPaper.aiChatPaper

RefineX: Lernen, Vor-Trainingsdaten in großem Maßstab mit Experten-gesteuerten Programmen zu verfeinern

RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs

July 4, 2025
Autoren: Baolong Bi, Shenghua Liu, Xingzhang Ren, Dayiheng Liu, Junyang Lin, Yiwei Wang, Lingrui Mei, Junfeng Fang, Jiafeng Guo, Xueqi Cheng
cs.AI

Zusammenfassung

Die grundlegenden Fähigkeiten großer Sprachmodelle (LLMs) werden maßgeblich von der Qualität ihrer Vortrainingskorpora beeinflusst. Die Verbesserung der Datenqualität in großem Maßstab bleibt jedoch eine erhebliche Herausforderung, vor allem aufgrund des Zielkonflikts zwischen der Effektivität der Verfeinerung und der Verarbeitungseffizienz. Während regelbasierte Filterung nach wie vor das dominierende Paradigma ist, arbeitet sie typischerweise auf Dokumentebene und verfügt nicht über die notwendige Granularität, um spezifische Inhalte innerhalb von Dokumenten zu verfeinern. Inspiriert von neueren Arbeiten wie ProX schlagen wir RefineX vor, ein neuartiges Framework für die großflächige, präzise Verfeinerung von Vortrainingsdaten durch programmatische Bearbeitungsaufgaben. RefineX ermöglicht eine effiziente und feingranulare Datenverfeinerung, während es zuverlässig die Vielfalt und Natürlichkeit des Rohtextes bewahrt. Die Kernstärke von RefineX liegt darin, hochwertige, expertengeleitete End-to-End-Verfeinerungsergebnisse in minimale, auf Löschungen basierende Bearbeitungsprogramme zu destillieren. Diese hochpräzise Destillationspipeline wird verwendet, um ein effizientes und zuverlässiges Verfeinerungsmodell zu trainieren, das jeden Eintrag im Korpus systematisch und in großem Maßstab verbessern kann. Wir evaluieren RefineX im Rahmen von Vortrainings von Grund auf bei verschiedenen Modellgrößen und stellen fest, dass es durchweg Modelle übertrifft, die mit Rohdaten, gefilterten oder alternativ verfeinerten Daten trainiert wurden, über diverse Downstream-Aufgaben hinweg. Beim 750M-Modell erzielt RefineX durchschnittliche Verbesserungen von 2,6 % bis 7,2 % bei Lighteval-Aufgaben und erreicht vergleichbare Leistung mit deutlich weniger Trainings-Tokens. Weitere Analysen zeigen, dass RefineX die Textqualität zuverlässig mit hoher Effizienz und Präzision verbessert und dabei frühere Ansätze wie End-to-End-Generierung und Prox-C übertrifft. Diese Ergebnisse positionieren RefineX als eine skalierbare, effektive und zuverlässige Lösung zur Optimierung von Vortrainingsdaten in modernen LLM-Pipelines.
English
The foundational capabilities of large language models (LLMs) are deeply influenced by the quality of their pre-training corpora. However, enhancing data quality at scale remains a significant challenge, primarily due to the trade-off between refinement effectiveness and processing efficiency. While rule-based filtering remains the dominant paradigm, it typically operates at the document level and lacks the granularity needed to refine specific content within documents. Inspired by emerging work such as ProX, we propose RefineX, a novel framework for large-scale, surgical refinement of pre-training data through programmatic editing tasks. RefineX enables efficient and fine-grained data refinement while reliably preserving the diversity and naturalness of raw text. The core strength of RefineX lies in distilling high-quality, expert-guided end-to-end refinement results into minimal edit-based deletion programs. This high-precision distillation pipeline is used to train an efficient and reliable refine model that can systematically improve every instance in the corpus at scale. We evaluate RefineX across from-scratch pre-training at multiple model scales and find that it consistently outperforms models trained on raw, filtered, or alternatively refined data across diverse downstream tasks. On the 750M model, RefineX yields 2.6%-7.2% average gains on lighteval tasks, and achieves comparable performance using significantly fewer training tokens. Further analysis shows that RefineX reliably enhances text quality with both high efficiency and precision, outperforming prior approaches such as end-to-end generation and Prox-C. These results position RefineX as a scalable, effective, and reliable solution for optimizing pre-training data in modern LLM pipelines.
PDF121July 8, 2025