Schaalbaarheid van Datamoeilijkheid: Verbetering van Coderingsmodellen via Reinforcement Learning op Nieuwe en Uitdagende Problemen

Scaling Data Difficulty: Improving Coding Models via Reinforcement Learning on Fresh and Challenging Problems

March 8, 2026

Auteurs: Zongqian Li, Tengchao Lv, Shaohan Huang, Yixuan Su, Qinzheng Sun, Qiufeng Yin, Ying Xin, Scarlett Li, Lei Cui, Nigel Collier, Furu Wei

cs.AI

Samenvatting

Het trainen van code-generatiemodellen voor de volgende generatie vereist hoogwaardige datasets, maar bestaande datasets kampen met moeilijkheidsongelijkheid, formaatinconsistentie en datakwaliteitsproblemen. Wij pakken deze uitdagingen aan via systematische gegevensverwerking en moeilijkheidsscha­ling. Wij introduceren een Dataverwerkingskader in vier fasen dat verzameling, verwerking, filtering en verificatie omvat, waarbij Automatische Moeilijkheidsfiltering wordt geïntegreerd via een op LLM gebaseerd predict-calibrate-select raamwerk. Dit raamwerk benut multidimensionele moeilijkheidsmetrieken over vijf gewogen dimensies om uitdagende problemen te behouden en simplistische te verwijderen. De resulterende MicroCoder-dataset omvat tienduizenden gecureerde echte competiti­eve programmeerproblemen van diverse platformen, met nadruk op actualiteit en moeilijkheidsgraad. Evaluaties op strikt onbekende LiveCodeBench tonen aan dat MicroCoder 3x grotere prestatieverbeteringen bereikt binnen 300 trainingsstappen vergeleken met veelgebruikte baseline-datasets van vergelijkbare omvang, met consistente voordelen onder zowel GRPO als variant-trainingsalgoritmen. De MicroCoder-dataset levert duidelijke verbeteringen op voor medium- en moeilijke problemen across verschillende modelgroottes, met relatieve winsten tot 17,2% in algehele prestaties waar modelcapaciteiten het meest worden belast. Deze resultaten valideren dat moeilijkheidsbewuste datacuratie de modelprestaties op uitdagende taken verbetert, en biedt meerdere inzichten voor datasetcreatie in codegeneratie.

English

Training next-generation code generation models requires high-quality datasets, yet existing datasets face difficulty imbalance, format inconsistency, and data quality problems. We address these challenges through systematic data processing and difficulty scaling. We introduce a four-stage Data Processing Framework encompassing collection, processing, filtering, and verification, incorporating Automatic Difficulty Filtering via an LLM-based predict-calibrate-select framework that leverages multi-dimensional difficulty metrics across five weighted dimensions to retain challenging problems while removing simplistic ones. The resulting MicroCoder dataset comprises tens of thousands of curated real competitive programming problems from diverse platforms, emphasizing recency and difficulty. Evaluations on strictly unseen LiveCodeBench demonstrate that MicroCoder achieves 3x larger performance gains within 300 training steps compared to widely-used baseline datasets of comparable size, with consistent advantages under both GRPO and its variant training algorithms. The MicroCoder dataset delivers obvious improvements on medium and hard problems across different model sizes, achieving up to 17.2% relative gains in overall performance where model capabilities are most stretched. These results validate that difficulty-aware data curation improves model performance on challenging tasks, providing multiple insights for dataset creation in code generation.