CodeArena: Een collectief evaluatieplatform voor codegeneratie door grote taalmodellen

CodeArena: A Collective Evaluation Platform for LLM Code Generation

March 3, 2025

Auteurs: Mingzhe Du, Anh Tuan Luu, Bin Ji, Xiaobao Wu, Dong Huang, Terry Yue Zhuo, Qian Liu, See-Kiong Ng

cs.AI

Samenvatting

Large Language Models (LLMs) hebben codegeneratie getransformeerd door hun uitzonderlijke begrip van natuurlijke taal en programmeersyntaxis te combineren, waardoor de productiviteit van ontwikkelaars aanzienlijk is toegenomen. Deze vooruitgang heeft geleid tot talrijke inspanningen om hun codeervaardigheden kwantitatief te evalueren. Echter, blijvende uitdagingen, zoals benchmarklekkage, dataverlies en beperkte systeemtoegankelijkheid, belemmeren nog steeds een tijdige en nauwkeurige beoordeling. Om deze beperkingen aan te pakken, introduceren we CodeArena, een online evaluatieframework speciaal ontworpen voor LLM-codegeneratie. De belangrijkste innovatie is een collectief evaluatiemechanisme, dat individuele modelscores dynamisch herkalibreert op basis van de algehele prestaties van alle deelnemende modellen, waardoor scorevooroordelen veroorzaakt door wijdverbreide benchmarklekkage worden gemitigeerd. Daarnaast zorgt CodeArena voor open toegang tot alle ingediende oplossingen en testgevallen en biedt het automatiseringvriendelijke API's om de code-evaluatieworkflow te stroomlijnen. Onze belangrijkste bijdragen zijn: (1) een collectief evaluatiesysteem voor een onbevooroordeelde beoordeling, (2) een openbare repository van oplossingen en testgevallen, en (3) automatiseringklaar gemaakte API's voor naadloze integratie.

English

Large Language Models (LLMs) have reshaped code generation by synergizing their exceptional comprehension of natural language and programming syntax, thereby substantially boosting developer productivity. These advancements have prompted numerous efforts to quantitatively evaluate their coding capabilities. However, persistent challenges, such as benchmark leakage, data dissipation, and limited system accessibility, continue to impede a timely and accurate assessment. To address these limitations, we introduce CodeArena, an online evaluation framework tailored for LLM code generation. The key innovation is a collective evaluation mechanism, which dynamically recalibrates individual model scores based on the holistic performance of all participating models, mitigating score biases caused by widespread benchmark leakage. In addition, CodeArena ensures open access to all submitted solutions and test cases and provides automation-friendly APIs to streamline the code evaluation workflow. Our main contributions are: (1) a collective evaluation system for unbiased assessment, (2) a public repository of solutions and test cases, and (3) automation-ready APIs for seamless integration.