CodeContests+ : Génération de cas de test de haute qualité pour la programmation compétitive

CodeContests+: High-Quality Test Case Generation for Competitive Programming

June 6, 2025

Auteurs: Zihan Wang, Siyao Liu, Yang Sun, Hongyan Li, Kai Shen

cs.AI

Résumé

La programmation compétitive, en raison de sa difficulté de raisonnement élevée et de ses retours d'évaluation précis, est devenue une tâche clé pour à la fois entraîner et évaluer les capacités de raisonnement des grands modèles de langage (LLMs). Cependant, bien qu'une grande quantité de données publiques sur les problèmes, telles que les énoncés et les solutions, soit disponible, les cas de test de ces problèmes sont souvent difficiles à obtenir. Par conséquent, la génération de cas de test est une tâche nécessaire pour la construction de jeux de données à grande échelle, et la qualité des cas de test détermine directement la précision de l'évaluation. Dans cet article, nous présentons un système d'agents basé sur des LLMs qui crée des cas de test de haute qualité pour les problèmes de programmation compétitive. Nous appliquons ce système au jeu de données CodeContests et proposons une nouvelle version avec des cas de test améliorés, nommée CodeContests+. Nous avons évalué la qualité des cas de test dans CodeContests+. Tout d'abord, nous avons utilisé 1,72 million de soumissions avec des étiquettes de réussite/échec pour examiner la précision de ces cas de test dans l'évaluation. Les résultats ont indiqué que CodeContests+ atteint une précision significativement plus élevée que CodeContests, en particulier avec un taux de vrais positifs (TVP) nettement supérieur. Par la suite, nos expériences en apprentissage par renforcement (RL) avec des LLMs ont confirmé que les améliorations de la qualité des cas de test apportent des avantages considérables pour le RL.

English

Competitive programming, due to its high reasoning difficulty and precise correctness feedback, has become a key task for both training and evaluating the reasoning capabilities of large language models (LLMs). However, while a large amount of public problem data, such as problem statements and solutions, is available, the test cases of these problems are often difficult to obtain. Therefore, test case generation is a necessary task for building large-scale datasets, and the quality of the test cases directly determines the accuracy of the evaluation. In this paper, we introduce an LLM-based agent system that creates high-quality test cases for competitive programming problems. We apply this system to the CodeContests dataset and propose a new version with improved test cases, named CodeContests+. We evaluated the quality of test cases in CodeContestsPlus. First, we used 1.72 million submissions with pass/fail labels to examine the accuracy of these test cases in evaluation. The results indicated that CodeContests+ achieves significantly higher accuracy than CodeContests, particularly with a notably higher True Positive Rate (TPR). Subsequently, our experiments in LLM Reinforcement Learning (RL) further confirmed that improvements in test case quality yield considerable advantages for RL.