CodeArena: Una Piattaforma di Valutazione Collettiva per la Generazione di Codice con LLM

CodeArena: A Collective Evaluation Platform for LLM Code Generation

March 3, 2025

Autori: Mingzhe Du, Anh Tuan Luu, Bin Ji, Xiaobao Wu, Dong Huang, Terry Yue Zhuo, Qian Liu, See-Kiong Ng

cs.AI

Abstract

I Large Language Model (LLM) hanno rivoluzionato la generazione di codice grazie alla sinergia tra la loro eccezionale comprensione del linguaggio naturale e della sintassi di programmazione, aumentando significativamente la produttività degli sviluppatori. Questi progressi hanno stimolato numerosi sforzi per valutare quantitativamente le loro capacità di codifica. Tuttavia, sfide persistenti, come la diffusione dei benchmark, la dissipazione dei dati e l'accessibilità limitata dei sistemi, continuano a ostacolare una valutazione tempestiva e accurata. Per affrontare queste limitazioni, presentiamo CodeArena, un framework di valutazione online progettato per la generazione di codice tramite LLM. L'innovazione chiave è un meccanismo di valutazione collettiva, che ricalibra dinamicamente i punteggi individuali dei modelli basandosi sulle prestazioni complessive di tutti i modelli partecipanti, mitigando i bias nei punteggi causati dalla diffusione diffusa dei benchmark. Inoltre, CodeArena garantisce l'accesso aperto a tutte le soluzioni e ai casi di test inviati e fornisce API compatibili con l'automazione per semplificare il flusso di lavoro di valutazione del codice. I nostri principali contributi sono: (1) un sistema di valutazione collettiva per una valutazione imparziale, (2) un repository pubblico di soluzioni e casi di test, e (3) API pronte per l'automazione per un'integrazione senza soluzione di continuità.

English

Large Language Models (LLMs) have reshaped code generation by synergizing their exceptional comprehension of natural language and programming syntax, thereby substantially boosting developer productivity. These advancements have prompted numerous efforts to quantitatively evaluate their coding capabilities. However, persistent challenges, such as benchmark leakage, data dissipation, and limited system accessibility, continue to impede a timely and accurate assessment. To address these limitations, we introduce CodeArena, an online evaluation framework tailored for LLM code generation. The key innovation is a collective evaluation mechanism, which dynamically recalibrates individual model scores based on the holistic performance of all participating models, mitigating score biases caused by widespread benchmark leakage. In addition, CodeArena ensures open access to all submitted solutions and test cases and provides automation-friendly APIs to streamline the code evaluation workflow. Our main contributions are: (1) a collective evaluation system for unbiased assessment, (2) a public repository of solutions and test cases, and (3) automation-ready APIs for seamless integration.