CodeContests+: Hoogwaardige testcasegeneratie voor competitief programmeren

CodeContests+: High-Quality Test Case Generation for Competitive Programming

June 6, 2025

Auteurs: Zihan Wang, Siyao Liu, Yang Sun, Hongyan Li, Kai Shen

cs.AI

Samenvatting

Competitive programming, vanwege de hoge redeneercomplexiteit en precieze correctheidsfeedback, is een belangrijke taak geworden voor zowel het trainen als het evalueren van de redeneervaardigheden van grote taalmodellen (LLMs). Hoewel er echter een grote hoeveelheid openbare probleemgegevens beschikbaar is, zoals probleemstellingen en oplossingen, zijn de testgevallen van deze problemen vaak moeilijk te verkrijgen. Daarom is het genereren van testgevallen een noodzakelijke taak voor het opbouwen van grootschalige datasets, en de kwaliteit van de testgevallen bepaalt direct de nauwkeurigheid van de evaluatie. In dit artikel introduceren we een LLM-gebaseerd agentsysteem dat hoogwaardige testgevallen creëert voor competitive programming problemen. We passen dit systeem toe op de CodeContests-dataset en stellen een nieuwe versie voor met verbeterde testgevallen, genaamd CodeContests+. We hebben de kwaliteit van de testgevallen in CodeContestsPlus geëvalueerd. Eerst hebben we 1,72 miljoen inzendingen met geslaagd/mislukt-labels gebruikt om de nauwkeurigheid van deze testgevallen in de evaluatie te onderzoeken. De resultaten toonden aan dat CodeContests+ een aanzienlijk hogere nauwkeurigheid bereikt dan CodeContests, met name een opmerkelijk hogere True Positive Rate (TPR). Vervolgens bevestigden onze experimenten in LLM Reinforcement Learning (RL) verder dat verbeteringen in de kwaliteit van testgevallen aanzienlijke voordelen opleveren voor RL.

English

Competitive programming, due to its high reasoning difficulty and precise correctness feedback, has become a key task for both training and evaluating the reasoning capabilities of large language models (LLMs). However, while a large amount of public problem data, such as problem statements and solutions, is available, the test cases of these problems are often difficult to obtain. Therefore, test case generation is a necessary task for building large-scale datasets, and the quality of the test cases directly determines the accuracy of the evaluation. In this paper, we introduce an LLM-based agent system that creates high-quality test cases for competitive programming problems. We apply this system to the CodeContests dataset and propose a new version with improved test cases, named CodeContests+. We evaluated the quality of test cases in CodeContestsPlus. First, we used 1.72 million submissions with pass/fail labels to examine the accuracy of these test cases in evaluation. The results indicated that CodeContests+ achieves significantly higher accuracy than CodeContests, particularly with a notably higher True Positive Rate (TPR). Subsequently, our experiments in LLM Reinforcement Learning (RL) further confirmed that improvements in test case quality yield considerable advantages for RL.