X-Coder: Avançando na Programação Competitiva com Tarefas, Soluções e Testes Totalmente Sintéticos
X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests
January 11, 2026
Autores: Jie Wu, Haoling Li, Xin Zhang, Jiani Guo, Jane Luo, Steven Liu, Yangyu Huang, Ruihang Chu, Scarlett Li, Yujiu Yang
cs.AI
Resumo
A programação competitiva apresenta grandes desafios para os LLMs de código devido às suas exigências intensivas de raciocínio e alta complexidade lógica. No entanto, os LLMs de código atuais ainda dependem fortemente de dados do mundo real, o que limita sua escalabilidade. Neste artigo, exploramos uma abordagem totalmente sintética: treinar LLMs de código com tarefas, soluções e casos de teste inteiramente gerados, para capacitar modelos de raciocínio em código sem depender de dados do mundo real. Para viabilizar isso, utilizamos uma síntese baseada em características para propor um novo *pipeline* de síntese de dados chamado SynthSmith. O SynthSmith demonstra um forte potencial na produção de tarefas diversas e desafiadoras, juntamente com soluções e testes verificados, suportando tanto o ajuste fino supervisionado (*Supervised Fine-Tuning - SFT*) quanto o aprendizado por reforço (*Reinforcement Learning - RL*). Com base nos conjuntos de dados sintéticos SFT e RL propostos, introduzimos a série de modelos X-Coder, que atinge uma taxa de acerto notável de 62,9 avg@8 no LiveCodeBench v5 e 55,8 no v6, superando o DeepCoder-14B-Preview e o AReal-boba2-14B apesar de possuir apenas 7 bilhões de parâmetros. Uma análise detalhada revela que as leis de escalonamento (*scaling laws*) se mantêm em nosso conjunto de dados sintético, e exploramos quais dimensões são mais eficazes para escalonar. Adicionalmente, fornecemos insights sobre o aprendizado por reforço centrado em código e destacamos os fatores-chave que moldam o desempenho por meio de ablações e análises detalhadas. Nossas descobertas demonstram que escalonar dados sintéticos de alta qualidade e adotar um treinamento em etapas pode avançar significativamente o raciocínio em código, ao mesmo tempo que mitiga a dependência de dados de codificação do mundo real.
English
Competitive programming presents great challenges for Code LLMs due to its intensive reasoning demands and high logical complexity. However, current Code LLMs still rely heavily on real-world data, which limits their scalability. In this paper, we explore a fully synthetic approach: training Code LLMs with entirely generated tasks, solutions, and test cases, to empower code reasoning models without relying on real-world data. To support this, we leverage feature-based synthesis to propose a novel data synthesis pipeline called SynthSmith. SynthSmith shows strong potential in producing diverse and challenging tasks, along with verified solutions and tests, supporting both supervised fine-tuning and reinforcement learning. Based on the proposed synthetic SFT and RL datasets, we introduce the X-Coder model series, which achieves a notable pass rate of 62.9 avg@8 on LiveCodeBench v5 and 55.8 on v6, outperforming DeepCoder-14B-Preview and AReal-boba2-14B despite having only 7B parameters. In-depth analysis reveals that scaling laws hold on our synthetic dataset, and we explore which dimensions are more effective to scale. We further provide insights into code-centric reinforcement learning and highlight the key factors that shape performance through detailed ablations and analysis. Our findings demonstrate that scaling high-quality synthetic data and adopting staged training can greatly advance code reasoning, while mitigating reliance on real-world coding data.