Trainingsengpässe überwinden: Effektives und stabiles Reinforcement Learning für Codierungsmodelle
Breaking Training Bottlenecks: Effective and Stable Reinforcement Learning for Coding Models
March 8, 2026
Autoren: Zongqian Li, Shaohan Huang, Zewen Chi, Yixuan Su, Lexin Zhou, Li Dong, Nigel Collier, Furu Wei
cs.AI
Zusammenfassung
Moderne Code-Generierungsmodelle zeigen längere Ausgaben, beschleunigte Fähigkeitsentwicklung und veränderte Trainingsdynamiken, was traditionelle Trainingsmethoden, Algorithmen und Datensätze für die Leistungssteigerung unwirksam macht. Um diese Trainingsengpässe zu adressieren, schlagen wir MicroCoder-GRPO vor, einen verbesserten Group Relative Policy Optimization-Ansatz mit drei Innovationen: bedingte Trunkierungsmaskierung zur Verbesserung des Langausgabepotenzials bei gleichzeitiger Aufrechterhaltung der Trainingsstabilität, diversitätsbestimmte Temperaturauswahl zur Beibehaltung und Förderung der Ausgabevielfalt sowie Entfernung des KL-Verlusts mit hohen Clipping-Verhältnissen zur Förderung der Lösungsvielfalt. MicroCoder-GRPO erzielt auf LiveCodeBench v6 eine relative Verbesserung von bis zu 17,6 % gegenüber starken Baselines, mit deutlicheren Gewinnen unter erweiterter Kontextauswertung. Zusätzlich veröffentlichen wir MicroCoder-Dataset, einen anspruchsvolleren Trainingskorpus, der innerhalb von 300 Trainingsschritten auf LiveCodeBench v6 dreimal größere Leistungssteigerungen als Mainstream-Datensätze erzielt, und MicroCoder-Evaluator, ein robustes Framework mit etwa 25 % verbesserter Auswertungsgenauigkeit und rund 40 % schnellerer Ausführung. Durch umfassende Analysen in über dreißig kontrollierten Experimenten decken wir 34 Trainingseinblicke in sieben Hauptaspekten auf und zeigen, dass richtig trainierte Modelle wettbewerbsfähige Leistung mit größeren Gegenstücken erreichen können.
English
Modern code generation models exhibit longer outputs, accelerated capability growth, and changed training dynamics, rendering traditional training methodologies, algorithms, and datasets ineffective for improving their performance. To address these training bottlenecks, we propose MicroCoder-GRPO, an improved Group Relative Policy Optimization approach with three innovations: conditional truncation masking to improve long output potential while maintaining training stability, diversity-determined temperature selection to maintain and encourage output diversity, and removal of KL loss with high clipping ratios to facilitate solution diversity. MicroCoder-GRPO achieves up to 17.6% relative improvement over strong baselines on LiveCodeBench v6, with more pronounced gains under extended context evaluation. Additionally, we release MicroCoder-Dataset, a more challenging training corpus that achieves 3x larger performance gains than mainstream datasets on LiveCodeBench v6 within 300 training steps, and MicroCoder-Evaluator, a robust framework with approximately 25% improved evaluation accuracy and around 40% faster execution. Through comprehensive analysis across more than thirty controlled experiments, we reveal 34 training insights across seven main aspects, demonstrating that properly trained models can achieve competitive performance with larger counterparts.