Scalabilità della Difficoltà dei Dati: Migliorare i Modelli di Codice tramite Apprendimento per Rinforzo su Problemi Nuovi e Complessi
Scaling Data Difficulty: Improving Coding Models via Reinforcement Learning on Fresh and Challenging Problems
March 8, 2026
Autori: Zongqian Li, Tengchao Lv, Shaohan Huang, Yixuan Su, Qinzheng Sun, Qiufeng Yin, Ying Xin, Scarlett Li, Lei Cui, Nigel Collier, Furu Wei
cs.AI
Abstract
L'addestramento di modelli di nuova generazione per la generazione di codice richiede dataset di alta qualità, ma i dataset esistenti presentano squilibri di difficoltà, incoerenze di formato e problemi di qualità dei dati. Affrontiamo queste sfide attraverso un'elaborazione sistematica dei dati e un ridimensionamento della difficoltà. Introduciamo un Framework di Elaborazione Dati in quattro fasi che comprende raccolta, elaborazione, filtraggio e verifica, incorporando un Filtro Automatico di Difficoltà tramite una struttura predict-calibrate-select basata su LLM che sfrutta metriche di difficoltà multidimensionali su cinque dimensioni ponderate per conservare i problemi impegnativi rimuovendo quelli banali. Il dataset MicroCoder risultante comprende decine di migliaia di problemi curati di programmazione competitiva reali provenienti da diverse piattaforme, con enfasi sulla recentezza e sulla difficoltà. Le valutazioni su LiveCodeBench rigorosamente non visto dimostrano che MicroCoder raggiunge miglioramenti delle prestazioni 3 volte maggiori entro 300 step di addestramento rispetto a dataset di riferimento ampiamente utilizzati di dimensioni comparabili, con vantaggi consistenti sia sotto gli algoritmi di addestramento GRPO che la sua variante. Il dataset MicroCoder fornisce miglioramenti evidenti sui problemi di difficoltà media e difficile attraverso diverse dimensioni del modello, raggiungendo guadagni relativi fino al 17,2% nelle prestazioni complessive dove le capacità del modello sono maggiormente sollecitate. Questi risultati convalidano che una cura dei dati consapevole della difficoltà migliora le prestazioni del modello su compiti impegnativi, fornendo molteplici spunti per la creazione di dataset nella generazione di codice.
English
Training next-generation code generation models requires high-quality datasets, yet existing datasets face difficulty imbalance, format inconsistency, and data quality problems. We address these challenges through systematic data processing and difficulty scaling. We introduce a four-stage Data Processing Framework encompassing collection, processing, filtering, and verification, incorporating Automatic Difficulty Filtering via an LLM-based predict-calibrate-select framework that leverages multi-dimensional difficulty metrics across five weighted dimensions to retain challenging problems while removing simplistic ones. The resulting MicroCoder dataset comprises tens of thousands of curated real competitive programming problems from diverse platforms, emphasizing recency and difficulty. Evaluations on strictly unseen LiveCodeBench demonstrate that MicroCoder achieves 3x larger performance gains within 300 training steps compared to widely-used baseline datasets of comparable size, with consistent advantages under both GRPO and its variant training algorithms. The MicroCoder dataset delivers obvious improvements on medium and hard problems across different model sizes, achieving up to 17.2% relative gains in overall performance where model capabilities are most stretched. These results validate that difficulty-aware data curation improves model performance on challenging tasks, providing multiple insights for dataset creation in code generation.