Переосмысление верификации генерации кода с помощью LLM: от генерации к тестированию

Rethinking Verification for LLM Code Generation: From Generation to Testing

July 9, 2025

Авторы: Zihan Ma, Taolin Zhang, Maosong Cao, Wenwei Zhang, Minnan Luo, Songyang Zhang, Kai Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) недавно достигли значительных успехов в тестах на генерацию кода, таких как HumanEval и LiveCodeBench. Однако детальный анализ показывает, что эти наборы для оценки часто содержат лишь ограниченное количество однородных тестовых случаев, что приводит к тому, что тонкие ошибки остаются незамеченными. Это не только искусственно завышает измеряемую производительность, но и подрывает точность оценки вознаграждения в рамках обучения с подкреплением, использующего проверяемые награды (RLVR). Чтобы устранить эти критические недостатки, мы систематически исследуем задачу генерации тестовых случаев (TCG), предлагая многомерные метрики, предназначенные для строгой количественной оценки полноты тестовых наборов. Кроме того, мы представляем метод совместной работы человека и LLM (SAGA), который объединяет экспертные знания в программировании с аналитическими способностями LLM, направленный на значительное улучшение как охвата, так и качества генерируемых тестовых случаев. Дополнительно мы разрабатываем TCGBench для облегчения изучения задачи TCG. Эксперименты показывают, что SAGA достигает уровня обнаружения 90,62% и точности верификатора 32,58% на TCGBench. Точность верификатора (Verifier Acc) для набора оценки генерации кода, синтезированного с помощью SAGA, на 10,78% выше, чем у LiveCodeBench-v6. Эти результаты демонстрируют эффективность предложенного метода. Мы надеемся, что эта работа внесет вклад в создание масштабируемой основы для надежной оценки кода с использованием LLM, дальнейшего продвижения RLVR в генерации кода и прокладывания пути к автоматизированному синтезу адверсарных тестов и адаптивной интеграции тестовых наборов.

English

Large language models (LLMs) have recently achieved notable success in code-generation benchmarks such as HumanEval and LiveCodeBench. However, a detailed examination reveals that these evaluation suites often comprise only a limited number of homogeneous test cases, resulting in subtle faults going undetected. This not only artificially inflates measured performance but also compromises accurate reward estimation in reinforcement learning frameworks utilizing verifiable rewards (RLVR). To address these critical shortcomings, we systematically investigate the test-case generation (TCG) task by proposing multi-dimensional metrics designed to rigorously quantify test-suite thoroughness. Furthermore, we introduce a human-LLM collaborative method (SAGA), leveraging human programming expertise with LLM reasoning capability, aimed at significantly enhancing both the coverage and the quality of generated test cases. In addition, we develop a TCGBench to facilitate the study of the TCG task. Experiments show that SAGA achieves a detection rate of 90.62% and a verifier accuracy of 32.58% on TCGBench. The Verifier Accuracy (Verifier Acc) of the code generation evaluation benchmark synthesized by SAGA is 10.78% higher than that of LiveCodeBench-v6. These results demonstrate the effectiveness of our proposed method. We hope this work contributes to building a scalable foundation for reliable LLM code evaluation, further advancing RLVR in code generation, and paving the way for automated adversarial test synthesis and adaptive benchmark integration.