Преодоление узких мест в обучении: эффективное и стабильное обучение с подкреплением для кодирующих моделей

Breaking Training Bottlenecks: Effective and Stable Reinforcement Learning for Coding Models

March 8, 2026

Авторы: Zongqian Li, Shaohan Huang, Zewen Chi, Yixuan Su, Lexin Zhou, Li Dong, Nigel Collier, Furu Wei

cs.AI

Аннотация

Современные модели генерации кода демонстрируют увеличение длины выходных данных, ускоренный рост возможностей и измененную динамику обучения, что делает традиционные методологии, алгоритмы и наборы данных обучения неэффективными для повышения их производительности. Для решения этих проблем обучения мы предлагаем MicroCoder-GRPO — усовершенствованный подход Group Relative Policy Optimization с тремя инновациями: условное маскирование усечения для улучшения потенциала длинных выводов при сохранении стабильности обучения, выбор температуры на основе разнообразия для поддержания и стимулирования разнообразия выходных данных, а также удаление KL-потерь с высокими коэффициентами отсечения для обеспечения разнообразия решений. MicroCoder-GRPO демонстрирует до 17,6% относительного улучшения по сравнению с сильными базовыми уровнями на LiveCodeBench v6, с более выраженными gains при расширенном контекстном оценивании. Кроме того, мы выпускаем MicroCoder-Dataset — более сложный тренировочный корпус, который обеспечивает в 3 раза больший прирост производительности, чем mainstream-наборы данных на LiveCodeBench v6 в течение 300 шагов обучения, и MicroCoder-Evaluator — надежную framework с приблизительно 25% улучшенной точностью оценки и примерно на 40% более быстрым выполнением. Благодаря комплексному анализу более тридцати контролируемых экспериментов мы выявили 34 insights по обучению в семи основных аспектах, демонстрируя, что правильно обученные модели могут достигать конкурентоспособной производительности с более крупными аналогами.

English

Modern code generation models exhibit longer outputs, accelerated capability growth, and changed training dynamics, rendering traditional training methodologies, algorithms, and datasets ineffective for improving their performance. To address these training bottlenecks, we propose MicroCoder-GRPO, an improved Group Relative Policy Optimization approach with three innovations: conditional truncation masking to improve long output potential while maintaining training stability, diversity-determined temperature selection to maintain and encourage output diversity, and removal of KL loss with high clipping ratios to facilitate solution diversity. MicroCoder-GRPO achieves up to 17.6% relative improvement over strong baselines on LiveCodeBench v6, with more pronounced gains under extended context evaluation. Additionally, we release MicroCoder-Dataset, a more challenging training corpus that achieves 3x larger performance gains than mainstream datasets on LiveCodeBench v6 within 300 training steps, and MicroCoder-Evaluator, a robust framework with approximately 25% improved evaluation accuracy and around 40% faster execution. Through comprehensive analysis across more than thirty controlled experiments, we reveal 34 training insights across seven main aspects, demonstrating that properly trained models can achieve competitive performance with larger counterparts.