X-Coder: 완전 합성 과제, 해법, 테스트를 통한 경쟁적 프로그래밍의 발전

초록

경쟁 프로그래밍은 높은 수준의 추론 요구사항과 논리적 복잡성으로 인해 코드 대규모 언어 모델(Code LLMs)에게 큰 도전 과제를 제시합니다. 그러나 현재의 코드 LLMs는 여전히 실제 데이터에 크게 의존하고 있어 확장성이 제한됩니다. 본 논문에서는 실제 데이터에 의존하지 않고 코드 추론 모델의 능력을 향상시키기 위해 생성된 작업, 솔루션 및 테스트 케이스만으로 코드 LLMs를 훈련시키는 완전 합성 접근법을 탐구합니다. 이를 지원하기 위해 특징 기반 합성을 활용하여 SynthSmith라는 새로운 데이터 합성 파이프라인을 제안합니다. SynthSmith는 검증된 솔루션과 테스트와 함께 다양하고 도전적인 작업을 생성하는 데 강력한 잠재력을 보여주며, 지도 미세 조정과 강화 학습을 모두 지원합니다. 제안된 합성 SFT 및 RL 데이터셋을 기반으로 우리는 X-Coder 모델 시리즈를 소개합니다. 이 모델 시리즈는 7B 매개변수만을 가짐에도 불구하고 LiveCodeBench v5에서 62.9 avg@8, v6에서 55.8의 높은 통과율을 달성하여 DeepCoder-14B-Preview 및 AReal-boba2-14B를 능가합니다. 심층 분석을 통해 우리의 합성 데이터셋에서도 확장 법칙이 유효함을 확인하고, 어떤 차원을 확장하는 것이 더 효과적인지 탐구합니다. 또한 코드 중심 강화 학습에 대한 통찰력을 제공하고 상세한 제어 실험 및 분석을 통해 성능을 결정하는 핵심 요소를 부각합니다. 우리의 연구 결과는 고품질 합성 데이터의 확장과 단계별 훈련의 채택이 실제 코딩 데이터에 대한 의존성을 완화하면서 코드 추론 능력을 크게 발전시킬 수 있음을 입증합니다.

English

Competitive programming presents great challenges for Code LLMs due to its intensive reasoning demands and high logical complexity. However, current Code LLMs still rely heavily on real-world data, which limits their scalability. In this paper, we explore a fully synthetic approach: training Code LLMs with entirely generated tasks, solutions, and test cases, to empower code reasoning models without relying on real-world data. To support this, we leverage feature-based synthesis to propose a novel data synthesis pipeline called SynthSmith. SynthSmith shows strong potential in producing diverse and challenging tasks, along with verified solutions and tests, supporting both supervised fine-tuning and reinforcement learning. Based on the proposed synthetic SFT and RL datasets, we introduce the X-Coder model series, which achieves a notable pass rate of 62.9 avg@8 on LiveCodeBench v5 and 55.8 on v6, outperforming DeepCoder-14B-Preview and AReal-boba2-14B despite having only 7B parameters. In-depth analysis reveals that scaling laws hold on our synthetic dataset, and we explore which dimensions are more effective to scale. We further provide insights into code-centric reinforcement learning and highlight the key factors that shape performance through detailed ablations and analysis. Our findings demonstrate that scaling high-quality synthetic data and adopting staged training can greatly advance code reasoning, while mitigating reliance on real-world coding data.

X-Coder: 완전 합성 과제, 해법, 테스트를 통한 경쟁적 프로그래밍의 발전

X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests

초록

Support