X-Coder: Avanzando en la Programación Competitiva con Tareas, Soluciones y Pruebas Totalmente Sintéticas

Resumen

La programación competitiva presenta grandes desafíos para los LLMs de código debido a sus intensas demandas de razonamiento y alta complejidad lógica. Sin embargo, los LLMs de código actuales aún dependen en gran medida de datos del mundo real, lo que limita su escalabilidad. En este artículo, exploramos un enfoque completamente sintético: entrenar LLMs de código con tareas, soluciones y casos de prueba totalmente generados, para potenciar los modelos de razonamiento de código sin depender de datos del mundo real. Para respaldar esto, aprovechamos la síntesis basada en características para proponer una novedosa canalización de síntesis de datos llamada SynthSmith. SynthSmith muestra un gran potencial para producir tareas diversas y desafiantes, junto con soluciones y pruebas verificadas, compatible tanto con el ajuste fino supervisado como con el aprendizaje por refuerzo. Basándonos en los conjuntos de datos sintéticos SFT y RL propuestos, presentamos la serie de modelos X-Coder, que logra una tasa de aprobación notable de 62.9 avg@8 en LiveCodeBench v5 y 55.8 en v6, superando a DeepCoder-14B-Preview y AReal-boba2-14B a pesar de tener solo 7B de parámetros. Un análisis en profundidad revela que las leyes de escalamiento se mantienen en nuestro conjunto de datos sintético, y exploramos qué dimensiones son más efectivas para escalar. Además, proporcionamos información sobre el aprendizaje por refuerzo centrado en el código y destacamos los factores clave que moldean el rendimiento mediante ablaciones y análisis detallados. Nuestros hallazgos demuestran que escalar datos sintéticos de alta calidad y adoptar un entrenamiento por etapas puede avanzar enormemente el razonamiento de código, al mismo tiempo que mitiga la dependencia de datos de codificación del mundo real.

English

Competitive programming presents great challenges for Code LLMs due to its intensive reasoning demands and high logical complexity. However, current Code LLMs still rely heavily on real-world data, which limits their scalability. In this paper, we explore a fully synthetic approach: training Code LLMs with entirely generated tasks, solutions, and test cases, to empower code reasoning models without relying on real-world data. To support this, we leverage feature-based synthesis to propose a novel data synthesis pipeline called SynthSmith. SynthSmith shows strong potential in producing diverse and challenging tasks, along with verified solutions and tests, supporting both supervised fine-tuning and reinforcement learning. Based on the proposed synthetic SFT and RL datasets, we introduce the X-Coder model series, which achieves a notable pass rate of 62.9 avg@8 on LiveCodeBench v5 and 55.8 on v6, outperforming DeepCoder-14B-Preview and AReal-boba2-14B despite having only 7B parameters. In-depth analysis reveals that scaling laws hold on our synthetic dataset, and we explore which dimensions are more effective to scale. We further provide insights into code-centric reinforcement learning and highlight the key factors that shape performance through detailed ablations and analysis. Our findings demonstrate that scaling high-quality synthetic data and adopting staged training can greatly advance code reasoning, while mitigating reliance on real-world coding data.

X-Coder: Avanzando en la Programación Competitiva con Tareas, Soluciones y Pruebas Totalmente Sintéticas

X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests

Resumen

Support