ReflexiCoder: Enseñando a Modelos de Lenguaje Grandes a Reflexionar Autónomamente sobre el Código Generado y Autocorregirlo mediante Aprendizaje por Refuerzo

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

March 6, 2026

Autores: Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

cs.AI

Resumen

Si bien los Modelos de Lenguaje a Gran Escala (LLM) han revolucionado la generación de código, los enfoques estándar de "Sistema 1", que generan soluciones en una única pasada hacia adelante, a menudo alcanzan un límite de rendimiento cuando se enfrentan a tareas algorítmicas complejas. Las estrategias existentes de refinamiento iterativo intentan cerrar esta brecha en el momento de la inferencia, pero se basan predominantemente en oráculos externos, retroalimentación de ejecución o ciclos de prompt-respuesta computacionalmente costosos. En este trabajo, proponemos ReflexiCoder, un novedoso marco de aprendizaje por refuerzo (RL) que internaliza la trayectoria de razonamiento estructurado —abarcando la generación inicial, la reflexión consciente de errores y optimizaciones, y la autocorrección— directamente en los pesos del modelo. A diferencia de métodos anteriores, ReflexiCoder cambia el paradigma de un refinamiento dependiente de elementos externos a capacidades intrínsecas, totalmente autónomas, de autorreflexión y autocorrección en tiempo de inferencia. Utilizamos un paradigma de entrenamiento RL-cero con funciones de recompensa granulares para optimizar toda la trayectoria de reflexión-corrección, enseñando al modelo a depurar sin depender de retroalimentación de la verdad fundamental (ground-truth) o motores de ejecución durante la inferencia. Experimentos exhaustivos en siete benchmarks demuestran que nuestro ReflexiCoder-8B establece un nuevo estado del arte (SOTA) entre los principales modelos de código abierto en el rango de 1.5B a 14B, logrando un 94.51% (87.20%) en HumanEval (Plus), 81.80% (78.57%) en MBPP (Plus), 35.00% en BigCodeBench, 52.21% en LiveCodeBench y 37.34% en CodeForces en un entorno de un único intento, rivalizando o superando a modelos propietarios como GPT-5.1. Cabe destacar que nuestro marco es significativamente más eficiente en tokens que los modelos base, reduciendo la sobrecarga computacional en la inferencia en aproximadamente un 40% mediante patrones de razonamiento y reflexión disciplinados y de alta velocidad. El código fuente está disponible en https://github.com/juyongjiang/ReflexiCoder.

English

While Large Language Models (LLMs) have revolutionized code generation, standard "System 1" approaches, generating solutions in a single forward pass, often hit a performance ceiling when faced with complex algorithmic tasks. Existing iterative refinement strategies attempt to bridge this gap at inference time, yet they predominantly rely on external oracles, execution feedback, or computationally expensive prompt-response cycles. In this work, we propose ReflexiCoder, a novel reinforcement learning (RL) framework that internalizes the structured reasoning trajectory, encompassing initial generation, bug and optimization aware reflection, and self-correction, directly into the model's weights. Unlike prior methods, ReflexiCoder shifts the paradigm from external-dependent refinement to an intrinsic, fully autonomous self-reflection and self-correction capabilities at inference time. We utilize an RL-zero training paradigm with granular reward functions to optimize the entire reflection-correction trajectory, teaching the model how to debug without reliance on ground-truth feedback or execution engines at inference time. Extensive experiments across seven benchmarks demonstrate that our ReflexiCoder-8B establishes a new state-of-the-art (SOTA) among leading open-source models in the 1.5B-14B range, achieving 94.51% (87.20%) on HumanEval (Plus), 81.80% (78.57%) on MBPP (Plus), 35.00% on BigCodeBench, 52.21% on LiveCodeBench, and 37.34% on CodeForces in a single-attempt setting, rivaling or surpassing proprietary models like GPT-5.1. Notably, our framework is significantly more token-efficient than base models, reducing inference-time compute overhead by approximately 40% through disciplined, high-speed reasoning and reflection patterns. Source code is available at https://github.com/juyongjiang/ReflexiCoder.