AutoCodeBench: 大規模言語モデルによる自動コードベンチマーク生成

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

August 12, 2025

著者: Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

cs.AI

要旨

大規模言語モデル（LLM）は、さまざまな領域で顕著な能力を発揮しており、コード生成はその中でも重要な焦点領域として浮上しています。これまで、コード生成能力を評価するための多数のベンチマークが提案されてきましたが、これらのベンチマークにはいくつかの重大な限界があります。第一に、多くのベンチマークは手動による注釈に依存しており、異なるプログラミング言語や問題の複雑さにわたってスケールすることが困難で時間がかかります。第二に、既存のベンチマークのほとんどはPythonに焦点を当てており、多言語対応のベンチマークは限られた難易度と不均等な言語分布に悩まされています。これらの課題に対処するため、我々はAutoCodeGenを提案します。これは、手動注釈なしで高難易度の多言語コード生成データセットを自動生成する方法です。AutoCodeGenは、LLMを使用してテスト入力を生成し、多言語サンドボックスを通じてテスト出力を取得することで、テストケースの正確性と完全性を保証します。さらに、逆順問題生成と複数のフィルタリングステップを通じて高いデータ品質を実現します。この新しい方法を用いて、我々はAutoCodeBenchを導入します。これは、20のプログラミング言語に均等に分布する3,920の問題からなる大規模なコード生成ベンチマークであり、LLMを挑戦的で多様かつ実践的な多言語タスクで評価するために特別に設計されています。我々は、30以上の主要なオープンソースおよびプロプライエタリなLLMをAutoCodeBenchおよびその簡易版であるAutoCodeBench-Liteで評価しました。その結果、最も先進的なLLMでさえ、これらのタスクの複雑さ、多様性、多言語性に苦戦することが明らかになりました。さらに、ベースモデルのfew-shotコード生成能力を評価するために特別に設計されたAutoCodeBench-Completeを導入します。我々は、AutoCodeBenchシリーズが貴重なリソースとして機能し、コミュニティがより挑戦的で実践的な多言語コード生成シナリオに焦点を当てることを促すことを期待しています。

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.