AutoCodeBench: Крупные языковые модели как автоматические генераторы тестовых наборов для оценки кода

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие возможности в различных областях, при этом генерация кода стала одной из ключевых сфер внимания. Хотя было предложено множество тестов для оценки их способностей к генерации кода, эти тесты сталкиваются с несколькими критическими ограничениями. Во-первых, они часто полагаются на ручные аннотации, которые требуют значительных временных затрат и сложно масштабировать на различные языки программирования и уровни сложности задач. Во-вторых, большинство существующих тестов сосредоточено в основном на Python, в то время как немногочисленные мультиязычные тесты страдают от ограниченной сложности и неравномерного распределения языков. Для решения этих проблем мы предлагаем AutoCodeGen — автоматизированный метод генерации мультиязычных наборов данных для генерации кода высокой сложности без ручных аннотаций. AutoCodeGen обеспечивает корректность и полноту тестовых случаев, генерируя тестовые входные данные с помощью LLM и получая тестовые выходные данные через мультиязычную песочницу, одновременно достигая высокого качества данных благодаря генерации задач в обратном порядке и нескольким этапам фильтрации. Используя этот новый метод, мы представляем AutoCodeBench — крупномасштабный тест для генерации кода, включающий 3920 задач, равномерно распределенных по 20 языкам программирования. Он специально разработан для оценки LLM на сложных, разнообразных и практических мультиязычных задачах. Мы оценили более 30 ведущих открытых и проприетарных LLM на AutoCodeBench и его упрощенной версии AutoCodeBench-Lite. Результаты показывают, что даже самые передовые LLM испытывают трудности с сложностью, разнообразием и мультиязычным характером этих задач. Кроме того, мы представляем AutoCodeBench-Complete, специально разработанный для базовых моделей, чтобы оценить их способности к генерации кода в условиях ограниченного количества примеров. Мы надеемся, что серия AutoCodeBench станет ценным ресурсом и вдохновит сообщество на изучение более сложных и практических сценариев мультиязычной генерации кода.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.

AutoCodeBench: Крупные языковые модели как автоматические генераторы тестовых наборов для оценки кода

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

Аннотация

Support