AutoCodeBench: Grote Taalmodellen zijn Automatische Code Benchmark Generatoren

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

August 12, 2025

Auteurs: Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

cs.AI

Samenvatting

Large Language Models (LLMs) hebben opmerkelijke capaciteiten getoond in verschillende domeinen, waarbij codegeneratie een belangrijk aandachtspunt is geworden. Hoewel er tal van benchmarks zijn voorgesteld om hun codegeneratievaardigheden te evalueren, kampen deze benchmarks met verschillende kritieke beperkingen. Ten eerste vertrouwen ze vaak op handmatige annotaties, wat tijdrovend is en moeilijk schaalbaar is over verschillende programmeertalen en probleemcomplexiteiten. Ten tweede richten de meeste bestaande benchmarks zich voornamelijk op Python, terwijl de weinige meertalige benchmarks te kampen hebben met beperkte moeilijkheidsgraad en ongelijke taalverdeling. Om deze uitdagingen aan te pakken, stellen we AutoCodeGen voor, een geautomatiseerde methode voor het genereren van meertalige codegeneratiedatasets met een hoge moeilijkheidsgraad zonder handmatige annotaties. AutoCodeGen zorgt voor de correctheid en volledigheid van testgevallen door testinputs te genereren met LLMs en testoutputs te verkrijgen via een meertalige sandbox, terwijl een hoge data kwaliteit wordt bereikt door omgekeerde probleemgeneratie en meerdere filterstappen. Met behulp van deze nieuwe methode introduceren we AutoCodeBench, een grootschalige codegeneratiebenchmark bestaande uit 3.920 problemen die gelijkmatig zijn verdeeld over 20 programmeertalen. Het is specifiek ontworpen om LLMs te evalueren op uitdagende, diverse en praktische meertalige taken. We evalueren meer dan 30 toonaangevende open-source en propriëtaire LLMs op AutoCodeBench en de vereenvoudigde versie AutoCodeBench-Lite. De resultaten laten zien dat zelfs de meest geavanceerde LLMs moeite hebben met de complexiteit, diversiteit en meertaligheid van deze taken. Daarnaast introduceren we AutoCodeBench-Complete, specifiek ontworpen voor basismodellen om hun few-shot codegeneratiecapaciteiten te beoordelen. We hopen dat de AutoCodeBench-serie een waardevolle bron zal zijn en de gemeenschap zal inspireren om zich te richten op meer uitdagende en praktische meertalige codegeneratiescenario's.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.