Replanteando la verificación para la generación de código con LLM: de la generación a las pruebas

Rethinking Verification for LLM Code Generation: From Generation to Testing

July 9, 2025

Autores: Zihan Ma, Taolin Zhang, Maosong Cao, Wenwei Zhang, Minnan Luo, Songyang Zhang, Kai Chen

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado recientemente un éxito notable en benchmarks de generación de código como HumanEval y LiveCodeBench. Sin embargo, un examen detallado revela que estas suites de evaluación a menudo comprenden solo un número limitado de casos de prueba homogéneos, lo que resulta en fallos sutiles que pasan desapercibidos. Esto no solo infla artificialmente el rendimiento medido, sino que también compromete la estimación precisa de recompensas en marcos de aprendizaje por refuerzo que utilizan recompensas verificables (RLVR). Para abordar estas deficiencias críticas, investigamos sistemáticamente la tarea de generación de casos de prueba (TCG, por sus siglas en inglés) proponiendo métricas multidimensionales diseñadas para cuantificar rigurosamente la exhaustividad de las suites de prueba. Además, introducimos un método colaborativo humano-LLM (SAGA), que aprovecha la experiencia en programación humana junto con la capacidad de razonamiento de los LLMs, con el objetivo de mejorar significativamente tanto la cobertura como la calidad de los casos de prueba generados. Asimismo, desarrollamos un TCGBench para facilitar el estudio de la tarea TCG. Los experimentos muestran que SAGA alcanza una tasa de detección del 90,62% y una precisión del verificador del 32,58% en TCGBench. La precisión del verificador (Verifier Acc) del benchmark de evaluación de generación de código sintetizado por SAGA es un 10,78% superior a la de LiveCodeBench-v6. Estos resultados demuestran la efectividad de nuestro método propuesto. Esperamos que este trabajo contribuya a construir una base escalable para la evaluación confiable de código generado por LLMs, avanzando aún más el RLVR en la generación de código, y allanando el camino para la síntesis automatizada de pruebas adversarias y la integración adaptativa de benchmarks.

English

Large language models (LLMs) have recently achieved notable success in code-generation benchmarks such as HumanEval and LiveCodeBench. However, a detailed examination reveals that these evaluation suites often comprise only a limited number of homogeneous test cases, resulting in subtle faults going undetected. This not only artificially inflates measured performance but also compromises accurate reward estimation in reinforcement learning frameworks utilizing verifiable rewards (RLVR). To address these critical shortcomings, we systematically investigate the test-case generation (TCG) task by proposing multi-dimensional metrics designed to rigorously quantify test-suite thoroughness. Furthermore, we introduce a human-LLM collaborative method (SAGA), leveraging human programming expertise with LLM reasoning capability, aimed at significantly enhancing both the coverage and the quality of generated test cases. In addition, we develop a TCGBench to facilitate the study of the TCG task. Experiments show that SAGA achieves a detection rate of 90.62% and a verifier accuracy of 32.58% on TCGBench. The Verifier Accuracy (Verifier Acc) of the code generation evaluation benchmark synthesized by SAGA is 10.78% higher than that of LiveCodeBench-v6. These results demonstrate the effectiveness of our proposed method. We hope this work contributes to building a scalable foundation for reliable LLM code evaluation, further advancing RLVR in code generation, and paving the way for automated adversarial test synthesis and adaptive benchmark integration.