코딩 대회에서 금메달 수준의 성능을 달성하기 위한 언어 모델 사후 훈련

초록

경쟁적 프로그래밍(competitive programming)은 대규모 언어 모델(LLM)의 추론 능력을 검증하는 핵심 시험대가 되었으며, IOI(국제 정보 올림피아드)와 ICPC(국제 대학생 프로그래밍 대회)와 같은 국제 대회는 그중 가장 도전적인 대회 환경을 대표한다. 본 논문에서는 대규모 문제 선별, 합성 추론 궤적(synthetic reasoning traces), 지도 미세 조정(SFT), 강화 학습(RL)을 결합한 엔드투엔드 특화 파이프라인을 제시한다. 선별된 22,000개의 문제를 활용하여 Nemotron-3-Nano-CC(30B-A3B)는 SFT와 RL로 학습하고, Nemotron-3-Ultra-CC(550B-A55B)는 SFT만으로 학습한다. 또한, 다양한 해법을 반복적으로 생성·평가·정제하는 피드백 기반 테스트 시점 연산(test-time compute) 전략인 GenCorrect를 소개한다. IOI 2025에서 Nano-CC는 사후 학습(post-training) 이후 130점에서 291점으로 향상되었고, GenCorrect를 적용하면 468점에 도달하여 금상 기준선(438.3점)을 초과했으며, Ultra-CC는 502점을 기록했다. 이러한 결과를 바탕으로 IOI 대회에 특화된 Ultra-CC 시스템을 개발하고 IOI 2026에서 이를 전향적으로 평가했다. 인간 참가자와 동일한 시간·인터넷 접근·제출 제약 조건 하에서 이 시스템은 600점 만점에 535.4점을 획득하여 금상 기준선(361.12점)과 인간 참가자 최고 득점(498.27점)을 모두 초과했다. 본 연구진이 아는 한, 이는 IOI 문제 세트에서 최고 득점을 올린 인간 참가자를 능가한 최초의 AI 시스템이다.

English

Competitive programming has become a key test of large language model reasoning, with international competitions such as IOI and ICPC representing its most challenging settings. We present an end-to-end specialization pipeline combining large-scale problem curation, synthetic reasoning traces, supervised fine-tuning (SFT), and reinforcement learning (RL). Using 22,000 curated problems, we train Nemotron-3-Nano-CC (30B-A3B) with SFT and RL and Nemotron-3-Ultra-CC (550B-A55B) with SFT alone. We further introduce GenCorrect, a feedback-driven test-time compute strategy that iteratively generates, evaluates, and refines diverse solutions. On IOI 2025, Nano-CC improves from 130 points to 291 after post-training and to 468 with GenCorrect, exceeding the gold threshold of 438.3 while Ultra-CC reaches 502. Guided by these results, we develop a competition-specific Ultra-CC system and evaluate it prospectively during IOI 2026. Under the same time, internet-access, and submission constraints as human contestants, it scores 535.4 out of 600, exceeding both the gold threshold of 361.12 and the top human score of 498.27. To our knowledge, this is the first AI system to outscore the highest-scoring human contestant on an IOI problem set.