AutoCodeBench: I Grandi Modelli Linguistici sono Generatori Automatici di Benchmark per il Codice

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

August 12, 2025

Autori: Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato capacità straordinarie in vari domini, con la generazione di codice che emerge come un'area chiave di interesse. Sebbene siano stati proposti numerosi benchmark per valutarne le abilità di generazione del codice, questi benchmark presentano diverse limitazioni critiche. In primo luogo, spesso si basano su annotazioni manuali, che richiedono tempo e sono difficili da scalare tra diversi linguaggi di programmazione e livelli di complessità dei problemi. In secondo luogo, la maggior parte dei benchmark esistenti si concentra principalmente su Python, mentre i pochi benchmark multilingue soffrono di una difficoltà limitata e di una distribuzione disomogenea dei linguaggi. Per affrontare queste sfide, proponiamo AutoCodeGen, un metodo automatizzato per generare dataset multilingue ad alta difficoltà per la generazione di codice senza annotazioni manuali. AutoCodeGen garantisce la correttezza e la completezza dei casi di test generando input di test con LLM e ottenendo output di test attraverso un sandbox multilingue, raggiungendo un'elevata qualità dei dati grazie alla generazione di problemi in ordine inverso e a più passaggi di filtraggio. Utilizzando questo metodo innovativo, introduciamo AutoCodeBench, un benchmark su larga scala per la generazione di codice composto da 3.920 problemi equamente distribuiti tra 20 linguaggi di programmazione. È specificamente progettato per valutare gli LLM su compiti multilingue impegnativi, diversificati e pratici. Valutiamo oltre 30 LLM open-source e proprietari leader su AutoCodeBench e sulla sua versione semplificata AutoCodeBench-Lite. I risultati mostrano che anche gli LLM più avanzati faticano a gestire la complessità, la diversità e la natura multilingue di questi compiti. Inoltre, introduciamo AutoCodeBench-Complete, specificamente progettato per i modelli di base per valutarne le capacità di generazione di codice in contesti few-shot. Speriamo che la serie AutoCodeBench possa servire come una risorsa preziosa e ispirare la comunità a concentrarsi su scenari di generazione di codice multilingue più impegnativi e pratici.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.