Repensando a Verificação para Geração de Código com LLMs: Da Geração ao Teste

Rethinking Verification for LLM Code Generation: From Generation to Testing

July 9, 2025

Autores: Zihan Ma, Taolin Zhang, Maosong Cao, Wenwei Zhang, Minnan Luo, Songyang Zhang, Kai Chen

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) recentemente alcançaram sucesso notável em benchmarks de geração de código, como HumanEval e LiveCodeBench. No entanto, um exame detalhado revela que essas suítes de avaliação frequentemente compreendem apenas um número limitado de casos de teste homogêneos, resultando em falhas sutis que passam despercebidas. Isso não apenas infla artificialmente o desempenho medido, mas também compromete a estimativa precisa de recompensa em frameworks de aprendizado por reforço que utilizam recompensas verificáveis (RLVR). Para abordar essas deficiências críticas, investigamos sistematicamente a tarefa de geração de casos de teste (TCG) propondo métricas multidimensionais projetadas para quantificar rigorosamente a abrangência das suítes de teste. Além disso, introduzimos um método colaborativo humano-LLM (SAGA), que aproveita a expertise de programação humana com a capacidade de raciocínio dos LLMs, visando melhorar significativamente tanto a cobertura quanto a qualidade dos casos de teste gerados. Adicionalmente, desenvolvemos um TCGBench para facilitar o estudo da tarefa TCG. Experimentos mostram que o SAGA alcança uma taxa de detecção de 90,62% e uma precisão do verificador de 32,58% no TCGBench. A Precisão do Verificador (Verifier Acc) do benchmark de avaliação de geração de código sintetizado pelo SAGA é 10,78% maior do que a do LiveCodeBench-v6. Esses resultados demonstram a eficácia do método proposto. Esperamos que este trabalho contribua para a construção de uma base escalável para a avaliação confiável de código gerado por LLMs, avançando ainda mais o RLVR na geração de código e pavimentando o caminho para a síntese automatizada de testes adversariais e a integração adaptativa de benchmarks.

English

Large language models (LLMs) have recently achieved notable success in code-generation benchmarks such as HumanEval and LiveCodeBench. However, a detailed examination reveals that these evaluation suites often comprise only a limited number of homogeneous test cases, resulting in subtle faults going undetected. This not only artificially inflates measured performance but also compromises accurate reward estimation in reinforcement learning frameworks utilizing verifiable rewards (RLVR). To address these critical shortcomings, we systematically investigate the test-case generation (TCG) task by proposing multi-dimensional metrics designed to rigorously quantify test-suite thoroughness. Furthermore, we introduce a human-LLM collaborative method (SAGA), leveraging human programming expertise with LLM reasoning capability, aimed at significantly enhancing both the coverage and the quality of generated test cases. In addition, we develop a TCGBench to facilitate the study of the TCG task. Experiments show that SAGA achieves a detection rate of 90.62% and a verifier accuracy of 32.58% on TCGBench. The Verifier Accuracy (Verifier Acc) of the code generation evaluation benchmark synthesized by SAGA is 10.78% higher than that of LiveCodeBench-v6. These results demonstrate the effectiveness of our proposed method. We hope this work contributes to building a scalable foundation for reliable LLM code evaluation, further advancing RLVR in code generation, and paving the way for automated adversarial test synthesis and adaptive benchmark integration.