Skalierung der Datenkomplexität: Verbesserung von Codierungsmodellen durch Reinforcement Learning anhand neuer und herausfordernder Probleme
Scaling Data Difficulty: Improving Coding Models via Reinforcement Learning on Fresh and Challenging Problems
March 8, 2026
Autoren: Zongqian Li, Tengchao Lv, Shaohan Huang, Yixuan Su, Qinzheng Sun, Qiufeng Yin, Ying Xin, Scarlett Li, Lei Cui, Nigel Collier, Furu Wei
cs.AI
Zusammenfassung
Die Ausbildung von Code-Generation-Modellen der nächsten Generation erfordert hochwertige Datensätze, doch bestehende Datensätze leiden unter Schwierigkeitsungleichgewicht, Formatinkonsistenz und Datenqualitätsproblemen. Wir adressieren diese Herausforderungen durch systematische Datenverarbeitung und Schwierigkeitsskalierung. Wir stellen ein vierstufiges Datenverarbeitungsframework vor, das Erfassung, Verarbeitung, Filterung und Verifizierung umfasst, einschließlich einer automatischen Schwierigkeitsfilterung mittels eines LLM-basierten Vorhersage-Kalibrierungs-Auswahl-Frameworks. Dieses nutzt mehrdimensionale Schwierigkeitsmetriken über fünf gewichtete Dimensionen, um anspruchsvolle Probleme beizubehalten und einfache zu entfernen. Der resultierende MicroCoder-Datensatz umfasst zehntausende kuratierte, reale Competitive-Programming-Probleme von diversen Plattformen mit Fokus auf Aktualität und Schwierigkeitsgrad. Evaluationen auf strikt unbekannten LiveCodeBench-Daten zeigen, dass MicroCoder innerhalb von 300 Trainingsschritten dreifach größere Leistungssteigerungen erzielt als häufig verwendete Referenzdatensätze vergleichbarer Größe, mit konsistenten Vorteilen unter sowohl GRPO als auch dessen varianten Trainingsalgorithmen. Der MicroCoder-Datensatz erbringt deutliche Verbesserungen bei mittleren und schweren Problemen über verschiedene Modellgrößen hinweg und erreicht bis zu 17,2 % relative Leistungssteigerungen im Gesamtergebnis, insbesondere dort, wo Modellfähigkeiten am stärksten gefordert werden. Diese Ergebnisse validieren, dass schwierigkeitsbewusste Datenkuratierung die Modellleistung bei anspruchsvollen Aufgaben verbessert und multiple Erkenntnisse für die Datensatzerstellung in der Code-Generation liefert.
English
Training next-generation code generation models requires high-quality datasets, yet existing datasets face difficulty imbalance, format inconsistency, and data quality problems. We address these challenges through systematic data processing and difficulty scaling. We introduce a four-stage Data Processing Framework encompassing collection, processing, filtering, and verification, incorporating Automatic Difficulty Filtering via an LLM-based predict-calibrate-select framework that leverages multi-dimensional difficulty metrics across five weighted dimensions to retain challenging problems while removing simplistic ones. The resulting MicroCoder dataset comprises tens of thousands of curated real competitive programming problems from diverse platforms, emphasizing recency and difficulty. Evaluations on strictly unseen LiveCodeBench demonstrate that MicroCoder achieves 3x larger performance gains within 300 training steps compared to widely-used baseline datasets of comparable size, with consistent advantages under both GRPO and its variant training algorithms. The MicroCoder dataset delivers obvious improvements on medium and hard problems across different model sizes, achieving up to 17.2% relative gains in overall performance where model capabilities are most stretched. These results validate that difficulty-aware data curation improves model performance on challenging tasks, providing multiple insights for dataset creation in code generation.