Heroverdenken van verificatie voor LLM-codegeneratie: van generatie naar testen

Rethinking Verification for LLM Code Generation: From Generation to Testing

July 9, 2025

Auteurs: Zihan Ma, Taolin Zhang, Maosong Cao, Wenwei Zhang, Minnan Luo, Songyang Zhang, Kai Chen

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben recentelijk opmerkelijke successen behaald in code-generatiebenchmarks zoals HumanEval en LiveCodeBench. Een gedetailleerd onderzoek toont echter aan dat deze evaluatiesuites vaak slechts een beperkt aantal homogene testgevallen bevatten, waardoor subtiele fouten onopgemerkt blijven. Dit leidt niet alleen tot een kunstmatige inflatie van de gemeten prestaties, maar ondermijnt ook een nauwkeurige beloningsschatting in reinforcement learning-frameworks die verifieerbare beloningen gebruiken (RLVR). Om deze kritieke tekortkomingen aan te pakken, onderzoeken we systematisch de taak van testgevalgeneratie (TCG) door multidimensionale metrieken voor te stellen die ontworpen zijn om de grondigheid van testsuites rigoureus te kwantificeren. Bovendien introduceren we een mens-LLM collaboratieve methode (SAGA), die menselijke programmeerexpertise combineert met de redeneercapaciteit van LLMs, gericht op een aanzienlijke verbetering van zowel de dekking als de kwaliteit van gegenereerde testgevallen. Daarnaast ontwikkelen we een TCGBench om het onderzoek naar de TCG-taak te vergemakkelijken. Experimenten tonen aan dat SAGA een detectiepercentage van 90,62% en een verificatienauwkeurigheid van 32,58% behaalt op TCGBench. De Verificatienauwkeurigheid (Verifier Acc) van de code-generatie-evaluatiebenchmark die door SAGA is gesynthetiseerd, is 10,78% hoger dan die van LiveCodeBench-v6. Deze resultaten demonstreren de effectiviteit van onze voorgestelde methode. We hopen dat dit werk bijdraagt aan het bouwen van een schaalbare basis voor betrouwbare LLM-code-evaluatie, het verder bevorderen van RLVR in code-generatie, en de weg vrijmaakt voor geautomatiseerde adversariële testsynthese en adaptieve benchmarkintegratie.

English

Large language models (LLMs) have recently achieved notable success in code-generation benchmarks such as HumanEval and LiveCodeBench. However, a detailed examination reveals that these evaluation suites often comprise only a limited number of homogeneous test cases, resulting in subtle faults going undetected. This not only artificially inflates measured performance but also compromises accurate reward estimation in reinforcement learning frameworks utilizing verifiable rewards (RLVR). To address these critical shortcomings, we systematically investigate the test-case generation (TCG) task by proposing multi-dimensional metrics designed to rigorously quantify test-suite thoroughness. Furthermore, we introduce a human-LLM collaborative method (SAGA), leveraging human programming expertise with LLM reasoning capability, aimed at significantly enhancing both the coverage and the quality of generated test cases. In addition, we develop a TCGBench to facilitate the study of the TCG task. Experiments show that SAGA achieves a detection rate of 90.62% and a verifier accuracy of 32.58% on TCGBench. The Verifier Accuracy (Verifier Acc) of the code generation evaluation benchmark synthesized by SAGA is 10.78% higher than that of LiveCodeBench-v6. These results demonstrate the effectiveness of our proposed method. We hope this work contributes to building a scalable foundation for reliable LLM code evaluation, further advancing RLVR in code generation, and paving the way for automated adversarial test synthesis and adaptive benchmark integration.