ReflexiCoder: Grote Taalmodellen Leren om Zelfreflectie toe te Passen op Gegenereerde Code en deze Zelf te Corrigeren via Reinforcement Learning

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

March 6, 2026

Auteurs: Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

cs.AI

Samenvatting

Hoewel Large Language Models (LLM's) een revolutie teweeg hebben gebracht in codegeneratie, stuiten standaard "Systeem 1"-benaderingen, die oplossingen genereren in een enkele voorwaartse pass, vaak op een prestatielimiet bij complexe algoritmische taken. Bestaande iteratieve verfijningsstrategieën proberen deze kloof tijdens inferentie te overbruggen, maar zij zijn voornamelijk afhankelijk van externe orakels, uitvoeringsfeedback of rekenintensieve prompt-responscycli. In dit werk stellen wij ReflexiCoder voor, een nieuw reinforcement learning (RL)-raamwerk dat de gestructureerde redeneertrajecten, bestaande uit initiële generatie, reflectie met bewustzijn van bugs en optimalisatie, en zelfcorrectie, internaliseert direct in de gewichten van het model. In tegenstelling tot eerdere methoden verschuift ReflexiCoder het paradigma van externe-afhankelijke verfijning naar intrinsieke, volledig autonome zelfreflectie- en zelfcorrectiecapaciteiten tijdens inferentie. Wij gebruiken een RL-zero trainingsparadigma met gedetailleerde beloningsfuncties om het volledige reflectie-correctietraject te optimaliseren, waarbij het model leert debuggen zonder afhankelijkheid van grond-waarheid-feedback of uitvoeringsengines tijdens inferentie. Uitgebreide experimenten over zeven benchmarks tonen aan dat onze ReflexiCoder-8B een nieuwe state-of-the-art (SOTA) vestigt onder toonaangevende open-source modellen in het bereik van 1.5B-14B, met scores van 94.51% (87.20%) op HumanEval (Plus), 81.80% (78.57%) op MBPP (Plus), 35.00% op BigCodeBench, 52.21% op LiveCodeBench en 37.34% op CodeForces in een enkele-poging setting, wat wedijvert met of zelfs superieur is aan propriëtaire modellen zoals GPT-5.1. Opmerkelijk is dat ons raamwerk aanzienlijk token-efficiënter is dan basismodellen, waardoor de rekentijd-overhead tijdens inferentie met ongeveer 40% wordt verminderd door middel van gedisciplineerde, hoogwaardige redeneer- en reflectiepatronen. De broncode is beschikbaar op https://github.com/juyongjiang/ReflexiCoder.

English

While Large Language Models (LLMs) have revolutionized code generation, standard "System 1" approaches, generating solutions in a single forward pass, often hit a performance ceiling when faced with complex algorithmic tasks. Existing iterative refinement strategies attempt to bridge this gap at inference time, yet they predominantly rely on external oracles, execution feedback, or computationally expensive prompt-response cycles. In this work, we propose ReflexiCoder, a novel reinforcement learning (RL) framework that internalizes the structured reasoning trajectory, encompassing initial generation, bug and optimization aware reflection, and self-correction, directly into the model's weights. Unlike prior methods, ReflexiCoder shifts the paradigm from external-dependent refinement to an intrinsic, fully autonomous self-reflection and self-correction capabilities at inference time. We utilize an RL-zero training paradigm with granular reward functions to optimize the entire reflection-correction trajectory, teaching the model how to debug without reliance on ground-truth feedback or execution engines at inference time. Extensive experiments across seven benchmarks demonstrate that our ReflexiCoder-8B establishes a new state-of-the-art (SOTA) among leading open-source models in the 1.5B-14B range, achieving 94.51% (87.20%) on HumanEval (Plus), 81.80% (78.57%) on MBPP (Plus), 35.00% on BigCodeBench, 52.21% on LiveCodeBench, and 37.34% on CodeForces in a single-attempt setting, rivaling or surpassing proprietary models like GPT-5.1. Notably, our framework is significantly more token-efficient than base models, reducing inference-time compute overhead by approximately 40% through disciplined, high-speed reasoning and reflection patterns. Source code is available at https://github.com/juyongjiang/ReflexiCoder.