CodeArena: Una Plataforma de Evaluación Colectiva para la Generación de Código con LLM

CodeArena: A Collective Evaluation Platform for LLM Code Generation

March 3, 2025

Autores: Mingzhe Du, Anh Tuan Luu, Bin Ji, Xiaobao Wu, Dong Huang, Terry Yue Zhuo, Qian Liu, See-Kiong Ng

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) han transformado la generación de código al combinar su excepcional comprensión del lenguaje natural y la sintaxis de programación, aumentando sustancialmente la productividad de los desarrolladores. Estos avances han impulsado numerosos esfuerzos para evaluar cuantitativamente sus capacidades de codificación. Sin embargo, desafíos persistentes, como la filtración de benchmarks, la disipación de datos y el acceso limitado a los sistemas, continúan dificultando una evaluación oportuna y precisa. Para abordar estas limitaciones, presentamos CodeArena, un marco de evaluación en línea diseñado para la generación de código con LLMs. La innovación clave es un mecanismo de evaluación colectiva, que recalibra dinámicamente las puntuaciones individuales de los modelos basándose en el rendimiento global de todos los modelos participantes, mitigando los sesgos en las puntuaciones causados por la filtración generalizada de benchmarks. Además, CodeArena garantiza el acceso abierto a todas las soluciones y casos de prueba enviados, y proporciona APIs compatibles con la automatización para agilizar el flujo de trabajo de evaluación de código. Nuestras principales contribuciones son: (1) un sistema de evaluación colectiva para una valoración imparcial, (2) un repositorio público de soluciones y casos de prueba, y (3) APIs listas para la automatización que permiten una integración sin problemas.

English

Large Language Models (LLMs) have reshaped code generation by synergizing their exceptional comprehension of natural language and programming syntax, thereby substantially boosting developer productivity. These advancements have prompted numerous efforts to quantitatively evaluate their coding capabilities. However, persistent challenges, such as benchmark leakage, data dissipation, and limited system accessibility, continue to impede a timely and accurate assessment. To address these limitations, we introduce CodeArena, an online evaluation framework tailored for LLM code generation. The key innovation is a collective evaluation mechanism, which dynamically recalibrates individual model scores based on the holistic performance of all participating models, mitigating score biases caused by widespread benchmark leakage. In addition, CodeArena ensures open access to all submitted solutions and test cases and provides automation-friendly APIs to streamline the code evaluation workflow. Our main contributions are: (1) a collective evaluation system for unbiased assessment, (2) a public repository of solutions and test cases, and (3) automation-ready APIs for seamless integration.