AutoCodeBench: Los Modelos de Lenguaje de Gran Escala son Generadores Automáticos de Puntos de Referencia para Código

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

August 12, 2025

Autores: Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades notables en diversos dominios, con la generación de código emergiendo como un área clave de enfoque. Si bien se han propuesto numerosos puntos de referencia para evaluar sus habilidades en la generación de código, estos enfrentan varias limitaciones críticas. En primer lugar, a menudo dependen de anotaciones manuales, que consumen mucho tiempo y son difíciles de escalar en diferentes lenguajes de programación y niveles de complejidad de problemas. En segundo lugar, la mayoría de los puntos de referencia existentes se centran principalmente en Python, mientras que los pocos puntos de referencia multilingües adolecen de una dificultad limitada y una distribución desigual de lenguajes. Para abordar estos desafíos, proponemos AutoCodeGen, un método automatizado para generar conjuntos de datos multilingües de alta dificultad para la generación de código sin anotaciones manuales. AutoCodeGen asegura la corrección y completitud de los casos de prueba generando entradas de prueba con LLMs y obteniendo salidas de prueba a través de un entorno de pruebas multilingüe, logrando una alta calidad de datos mediante la generación de problemas en orden inverso y múltiples pasos de filtrado. Utilizando este método novedoso, presentamos AutoCodeBench, un punto de referencia a gran escala para la generación de código que comprende 3,920 problemas distribuidos uniformemente en 20 lenguajes de programación. Está específicamente diseñado para evaluar LLMs en tareas multilingües desafiantes, diversas y prácticas. Evaluamos más de 30 LLMs líderes, tanto de código abierto como propietarios, en AutoCodeBench y su versión simplificada AutoCodeBench-Lite. Los resultados muestran que incluso los LLMs más avanzados tienen dificultades con la complejidad, diversidad y naturaleza multilingüe de estas tareas. Además, presentamos AutoCodeBench-Complete, específicamente diseñado para modelos base con el fin de evaluar sus capacidades de generación de código en pocos ejemplos. Esperamos que la serie AutoCodeBench sirva como un recurso valioso e inspire a la comunidad a enfocarse en escenarios de generación de código multilingüe más desafiantes y prácticos.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, with code generation emerging as a key area of focus. While numerous benchmarks have been proposed to evaluate their code generation abilities, these benchmarks face several critical limitations. First, they often rely on manual annotations, which are time-consuming and difficult to scale across different programming languages and problem complexities. Second, most existing benchmarks focus primarily on Python, while the few multilingual benchmarks suffer from limited difficulty and uneven language distribution. To address these challenges, we propose AutoCodeGen, an automated method for generating high-difficulty multilingual code generation datasets without manual annotations. AutoCodeGen ensures the correctness and completeness of test cases by generating test inputs with LLMs and obtaining test outputs through a multilingual sandbox, while achieving high data quality through reverse-order problem generation and multiple filtering steps. Using this novel method, we introduce AutoCodeBench, a large-scale code generation benchmark comprising 3,920 problems evenly distributed across 20 programming languages. It is specifically designed to evaluate LLMs on challenging, diverse, and practical multilingual tasks. We evaluate over 30 leading open-source and proprietary LLMs on AutoCodeBench and its simplified version AutoCodeBench-Lite. The results show that even the most advanced LLMs struggle with the complexity, diversity, and multilingual nature of these tasks. Besides, we introduce AutoCodeBench-Complete, specifically designed for base models to assess their few-shot code generation capabilities. We hope the AutoCodeBench series will serve as a valuable resource and inspire the community to focus on more challenging and practical multilingual code generation scenarios.