ReflexiCoder: Vermittlung der Fähigkeit zur Selbstreflexion über generierten Code und Selbstkorrektur mittels Reinforcement Learning in großen Sprachmodellen

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

March 6, 2026

Autoren: Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

cs.AI

Zusammenfassung

Während Large Language Models (LLMs) die Code-Generierung revolutioniert haben, stoßen standardmäßige "System 1"-Ansätze, die Lösungen in einem einzigen Vorwärtsdurchlauf erzeugen, bei komplexen algorithmischen Aufgaben oft an eine Leistungsgrenze. Bestehende iterative Verbesserungsstrategien versuchen, diese Lücke zur Inferenzzeit zu schließen, stützen sich jedoch überwiegend auf externe Orakel, Ausführungsfeedback oder rechenintensive Prompt-Response-Zyklen. In dieser Arbeit stellen wir ReflexiCoder vor, ein neuartiges Reinforcement Learning (RL) Framework, das den strukturierten Denkprozess – angefangen bei der initialen Generierung über fehler- und optimierungsbewusste Reflexion bis hin zur Selbstkorrektur – direkt in den Modellgewichten internalisiert. Im Gegensatz zu früheren Methoden verlagert ReflexiCoder das Paradigma von einer extern abhängigen Verfeinerung hin zu intrinsischen, vollständig autonomen Selbstreflexions- und Selbstkorrekturfähigkeiten zur Inferenzzeit. Wir nutzen ein RL-Zero-Training-Paradigma mit granularen Belohnungsfunktionen, um den gesamten Reflexions-Korrektur-Pfad zu optimieren und dem Modell beizubringen, wie es ohne Abhängigkeit von Ground-Truth-Feedback oder Ausführungs-Engines zur Inferenzzeit debuggt. Umfangreiche Experimente über sieben Benchmarks zeigen, dass unser ReflexiCoder-8B einen neuen State-of-the-Art (SOTA) unter führenden Open-Source-Modellen im Bereich von 1,5B bis 14B etabliert und dabei 94,51 % (87,20 %) auf HumanEval (Plus), 81,80 % (78,57 %) auf MBPP (Plus), 35,00 % auf BigCodeBench, 52,21 % auf LiveCodeBench und 37,34 % auf CodeForces in einem Single-Attempt-Setting erreicht – was proprietären Modellen wie GPT-5.1 ebenbürtig ist oder sie übertrifft. Besonders bemerkenswert ist, dass unser Framework deutlich token-effizienter als Basismodelle ist und den Rechenaufwand zur Inferenzzeit durch disziplinierte, hochgeschwindigkeitsreasoning- und Reflexionsmuster um etwa 40 % reduziert. Der Quellcode ist verfügbar unter https://github.com/juyongjiang/ReflexiCoder.

English

While Large Language Models (LLMs) have revolutionized code generation, standard "System 1" approaches, generating solutions in a single forward pass, often hit a performance ceiling when faced with complex algorithmic tasks. Existing iterative refinement strategies attempt to bridge this gap at inference time, yet they predominantly rely on external oracles, execution feedback, or computationally expensive prompt-response cycles. In this work, we propose ReflexiCoder, a novel reinforcement learning (RL) framework that internalizes the structured reasoning trajectory, encompassing initial generation, bug and optimization aware reflection, and self-correction, directly into the model's weights. Unlike prior methods, ReflexiCoder shifts the paradigm from external-dependent refinement to an intrinsic, fully autonomous self-reflection and self-correction capabilities at inference time. We utilize an RL-zero training paradigm with granular reward functions to optimize the entire reflection-correction trajectory, teaching the model how to debug without reliance on ground-truth feedback or execution engines at inference time. Extensive experiments across seven benchmarks demonstrate that our ReflexiCoder-8B establishes a new state-of-the-art (SOTA) among leading open-source models in the 1.5B-14B range, achieving 94.51% (87.20%) on HumanEval (Plus), 81.80% (78.57%) on MBPP (Plus), 35.00% on BigCodeBench, 52.21% on LiveCodeBench, and 37.34% on CodeForces in a single-attempt setting, rivaling or surpassing proprietary models like GPT-5.1. Notably, our framework is significantly more token-efficient than base models, reducing inference-time compute overhead by approximately 40% through disciplined, high-speed reasoning and reflection patterns. Source code is available at https://github.com/juyongjiang/ReflexiCoder.