CodeContests+: Geração de Casos de Teste de Alta Qualidade para Programação Competitiva

CodeContests+: High-Quality Test Case Generation for Competitive Programming

June 6, 2025

Autores: Zihan Wang, Siyao Liu, Yang Sun, Hongyan Li, Kai Shen

cs.AI

Resumo

A programação competitiva, devido à sua alta dificuldade de raciocínio e feedback preciso de correção, tornou-se uma tarefa fundamental tanto para o treinamento quanto para a avaliação das capacidades de raciocínio de modelos de linguagem de grande escala (LLMs). No entanto, embora uma grande quantidade de dados públicos de problemas, como enunciados e soluções, esteja disponível, os casos de teste desses problemas são frequentemente difíceis de obter. Portanto, a geração de casos de teste é uma tarefa necessária para a construção de conjuntos de dados em larga escala, e a qualidade dos casos de teste determina diretamente a precisão da avaliação. Neste artigo, apresentamos um sistema baseado em agentes LLM que cria casos de teste de alta qualidade para problemas de programação competitiva. Aplicamos esse sistema ao conjunto de dados CodeContests e propomos uma nova versão com casos de teste aprimorados, chamada CodeContests+. Avaliamos a qualidade dos casos de teste no CodeContestsPlus. Primeiro, utilizamos 1,72 milhão de submissões com rótulos de aprovação/reprovação para examinar a precisão desses casos de teste na avaliação. Os resultados indicaram que o CodeContests+ alcança uma precisão significativamente maior do que o CodeContests, particularmente com uma taxa de verdadeiros positivos (TVP) notavelmente mais alta. Posteriormente, nossos experimentos em Aprendizado por Reforço (RL) com LLMs confirmaram ainda que melhorias na qualidade dos casos de teste trazem vantagens consideráveis para o RL.

English

Competitive programming, due to its high reasoning difficulty and precise correctness feedback, has become a key task for both training and evaluating the reasoning capabilities of large language models (LLMs). However, while a large amount of public problem data, such as problem statements and solutions, is available, the test cases of these problems are often difficult to obtain. Therefore, test case generation is a necessary task for building large-scale datasets, and the quality of the test cases directly determines the accuracy of the evaluation. In this paper, we introduce an LLM-based agent system that creates high-quality test cases for competitive programming problems. We apply this system to the CodeContests dataset and propose a new version with improved test cases, named CodeContests+. We evaluated the quality of test cases in CodeContestsPlus. First, we used 1.72 million submissions with pass/fail labels to examine the accuracy of these test cases in evaluation. The results indicated that CodeContests+ achieves significantly higher accuracy than CodeContests, particularly with a notably higher True Positive Rate (TPR). Subsequently, our experiments in LLM Reinforcement Learning (RL) further confirmed that improvements in test case quality yield considerable advantages for RL.