ReflexiCoder: Insegnare ai Grandi Modelli Linguistici a Riflettere sul Codice Generato e ad Auto-Correggerlo Tramite Apprendimento per Rinforzo

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

March 6, 2026

Autori: Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

cs.AI

Abstract

Sebbene i Large Language Model (LLM) abbiano rivoluzionato la generazione di codice, i tradizionali approcci di "Sistema 1", che generano soluzioni in un unico passaggio in avanti, spesso raggiungono un limite di prestazioni quando affrontano compiti algoritmici complessi. Le strategie esistenti di raffinamento iterativo tentano di colmare questa lacuna al momento dell'inferenza, ma si basano prevalentemente su oracoli esterni, feedback di esecuzione o cicli prompt-risposta computazionalmente costosi. In questo lavoro, proponiamo ReflexiCoder, un nuovo framework di reinforcement learning (RL) che internalizza la traiettoria di ragionamento strutturato, comprendente la generazione iniziale, la riflessione consapevole di bug e ottimizzazioni e l'autocorrezione, direttamente nei pesi del modello. A differenza dei metodi precedenti, ReflexiCoder sposta il paradigma dal raffinamento dipendente da elementi esterni a capacità intrinseche, completamente autonome, di autoriflessione e autocorrezione al momento dell'inferenza. Utilizziamo un paradigma di addestramento RL-zero con funzioni di ricompensa granulari per ottimizzare l'intera traiettoria riflessione-correzione, insegnando al modello come eseguire il debug senza fare affidamento su feedback di ground-truth o motori di esecuzione durante l'inferenza. Esperimenti estesi su sette benchmark dimostrano che il nostro ReflexiCoder-8B stabilisce un nuovo stato dell'arte (SOTA) tra i principali modelli open-source nella gamma 1.5B-14B, raggiungendo il 94.51% (87.20%) su HumanEval (Plus), l'81.80% (78.57%) su MBPP (Plus), il 35.00% su BigCodeBench, il 52.21% su LiveCodeBench e il 37.34% su CodeForces in un'impostazione a singolo tentativo, rivaleggiando o superando modelli proprietari come GPT-5.1. È degno di nota che il nostro framework sia significativamente più efficiente in termini di token rispetto ai modelli base, riducendo l'overhead computazionale durante l'inferenza di circa il 40% grazie a pattern di ragionamento e riflessione ad alta velocità e disciplinati. Il codice sorgente è disponibile all'indirizzo https://github.com/juyongjiang/ReflexiCoder.

English

While Large Language Models (LLMs) have revolutionized code generation, standard "System 1" approaches, generating solutions in a single forward pass, often hit a performance ceiling when faced with complex algorithmic tasks. Existing iterative refinement strategies attempt to bridge this gap at inference time, yet they predominantly rely on external oracles, execution feedback, or computationally expensive prompt-response cycles. In this work, we propose ReflexiCoder, a novel reinforcement learning (RL) framework that internalizes the structured reasoning trajectory, encompassing initial generation, bug and optimization aware reflection, and self-correction, directly into the model's weights. Unlike prior methods, ReflexiCoder shifts the paradigm from external-dependent refinement to an intrinsic, fully autonomous self-reflection and self-correction capabilities at inference time. We utilize an RL-zero training paradigm with granular reward functions to optimize the entire reflection-correction trajectory, teaching the model how to debug without reliance on ground-truth feedback or execution engines at inference time. Extensive experiments across seven benchmarks demonstrate that our ReflexiCoder-8B establishes a new state-of-the-art (SOTA) among leading open-source models in the 1.5B-14B range, achieving 94.51% (87.20%) on HumanEval (Plus), 81.80% (78.57%) on MBPP (Plus), 35.00% on BigCodeBench, 52.21% on LiveCodeBench, and 37.34% on CodeForces in a single-attempt setting, rivaling or surpassing proprietary models like GPT-5.1. Notably, our framework is significantly more token-efficient than base models, reducing inference-time compute overhead by approximately 40% through disciplined, high-speed reasoning and reflection patterns. Source code is available at https://github.com/juyongjiang/ReflexiCoder.