CodeContests+: Генерация высококачественных тестовых случаев для соревновательного программирования
CodeContests+: High-Quality Test Case Generation for Competitive Programming
June 6, 2025
Авторы: Zihan Wang, Siyao Liu, Yang Sun, Hongyan Li, Kai Shen
cs.AI
Аннотация
Соревновательное программирование, благодаря высокой сложности логических задач и точной обратной связи по корректности решений, стало ключевой задачей как для обучения, так и для оценки способностей к рассуждению у крупных языковых моделей (LLM). Однако, несмотря на доступность большого количества публичных данных, таких как условия задач и их решения, тестовые случаи для этих задач часто трудно получить. Таким образом, генерация тестовых случаев является необходимой задачей для создания масштабных наборов данных, а качество тестовых случаев напрямую определяет точность оценки. В данной статье мы представляем систему на основе LLM, которая создает высококачественные тестовые случаи для задач соревновательного программирования. Мы применяем эту систему к набору данных CodeContests и предлагаем новую версию с улучшенными тестовыми случаями, названную CodeContests+. Мы оценили качество тестовых случаев в CodeContests+. Во-первых, мы использовали 1,72 миллиона решений с метками "пройдено/не пройдено", чтобы проверить точность этих тестовых случаев в оценке. Результаты показали, что CodeContests+ достигает значительно более высокой точности по сравнению с CodeContests, особенно с заметно более высокой долей истинно положительных результатов (True Positive Rate, TPR). Впоследствии наши эксперименты в области обучения с подкреплением (Reinforcement Learning, RL) для LLM дополнительно подтвердили, что улучшение качества тестовых случаев приносит значительные преимущества для RL.
English
Competitive programming, due to its high reasoning difficulty and precise
correctness feedback, has become a key task for both training and evaluating
the reasoning capabilities of large language models (LLMs). However, while a
large amount of public problem data, such as problem statements and solutions,
is available, the test cases of these problems are often difficult to obtain.
Therefore, test case generation is a necessary task for building large-scale
datasets, and the quality of the test cases directly determines the accuracy of
the evaluation. In this paper, we introduce an LLM-based agent system that
creates high-quality test cases for competitive programming problems. We apply
this system to the CodeContests dataset and propose a new version with improved
test cases, named CodeContests+. We evaluated the quality of test cases in
CodeContestsPlus. First, we used 1.72 million submissions with pass/fail labels
to examine the accuracy of these test cases in evaluation. The results
indicated that CodeContests+ achieves significantly higher accuracy than
CodeContests, particularly with a notably higher True Positive Rate (TPR).
Subsequently, our experiments in LLM Reinforcement Learning (RL) further
confirmed that improvements in test case quality yield considerable advantages
for RL.