AutoCodeBench: Große Sprachmodelle als automatische Generatoren von Code-Benchmarks

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

August 12, 2025

papers.authors: Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten in verschiedenen Bereichen gezeigt, wobei die Codegenerierung als ein zentraler Schwerpunkt hervorgeht. Obwohl zahlreiche Benchmarks vorgeschlagen wurden, um ihre Fähigkeiten zur Codegenerierung zu bewerten, weisen diese Benchmarks mehrere kritische Einschränkungen auf. Erstens stützen sie sich oft auf manuelle Annotationen, die zeitaufwendig sind und sich nur schwer über verschiedene Programmiersprachen und Problemkomplexitäten skalieren lassen. Zweitens konzentrieren sich die meisten bestehenden Benchmarks hauptsächlich auf Python, während die wenigen mehrsprachigen Benchmarks unter begrenzter Schwierigkeit und ungleichmäßiger Sprachverteilung leiden. Um diese Herausforderungen zu bewältigen, schlagen wir AutoCodeGen vor, eine automatisierte Methode zur Generierung von mehrsprachigen Codegenerierungsdatensätzen mit hohem Schwierigkeitsgrad ohne manuelle Annotationen. AutoCodeGen gewährleistet die Korrektheit und Vollständigkeit von Testfällen, indem Testeingaben mit LLMs generiert und Testausgaben durch eine mehrsprachige Sandbox ermittelt werden, während eine hohe Datenqualität durch rückwärtsgerichtete Problemgenerierung und mehrere Filterungsschritte erreicht wird. Mit dieser neuartigen Methode führen wir AutoCodeBench ein, einen groß angelegten Codegenerierungs-Benchmark, der 3.920 Probleme umfasst, die gleichmäßig über 20 Programmiersprachen verteilt sind. Er wurde speziell entwickelt, um LLMs anhand von anspruchsvollen, vielfältigen und praktischen mehrsprachigen Aufgaben zu bewerten. Wir evaluieren über 30 führende Open-Source- und proprietäre LLMs auf AutoCodeBench und seiner vereinfachten Version AutoCodeBench-Lite. Die Ergebnisse zeigen, dass selbst die fortschrittlichsten LLMs mit der Komplexität, Vielfalt und Mehrsprachigkeit dieser Aufgaben zu kämpfen haben. Darüber hinaus führen wir AutoCodeBench-Complete ein, das speziell für Basismodelle entwickelt wurde, um ihre Few-Shot-Codegenerierungsfähigkeiten zu bewerten. Wir hoffen, dass die AutoCodeBench-Serie als wertvolle Ressource dienen und die Gemeinschaft dazu inspirieren wird, sich auf anspruchsvollere und praktischere mehrsprachige Codegenerierungsszenarien zu konzentrieren.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.