AACR-Bench: Valutazione della Revisione Automatica del Codice con un Contesto Olistico a Livello di Repository

Abstract

I benchmark di valutazione di alta qualità sono fondamentali per l'implementazione di Large Language Model (LLM) nell'Automated Code Review (ACR). Tuttavia, i benchmark esistenti presentano due limitazioni critiche: in primo luogo, la mancanza di supporto multilingua in contesti a livello di repository, che limita la generalizzabilità dei risultati di valutazione; in secondo luogo, l'affidamento a ground truth rumorosi e incompleti derivanti da commenti grezzi delle Pull Request (PR), che limita l'ambito del rilevamento dei problemi. Per affrontare queste sfide, presentiamo AACR-Bench, un benchmark completo che fornisce un contesto completo cross-file su più linguaggi di programmazione. A differenza dei dataset tradizionali, AACR-Bench utilizza una pipeline di annotazione "AI-assisted, Expert-verified" per individuare difetti latenti spesso trascurati nelle PR originali, ottenendo un aumento del 285% nella copertura dei difetti. Valutazioni estese dei principali LLM su AACR-Bench rivelano che le valutazioni precedenti potrebbero aver giudicato erroneamente o catturato solo parzialmente le capacità dei modelli a causa di limitazioni dei dati. Il nostro lavoro stabilisce uno standard più rigoroso per la valutazione ACR e offre nuove intuizioni sull'ACR basato su LLM, ovvero: la granularità/livello del contesto e la scelta dei metodi di retrieval influiscono significativamente sulle prestazioni ACR, e questa influenza varia a seconda dell'LLM, del linguaggio di programmazione e del paradigma di utilizzo dell'LLM, ad esempio se viene impiegata un'architettura Agente. Il codice, i dati e altri artefatti del nostro set di valutazione sono disponibili su https://github.com/alibaba/aacr-bench.

English

High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .

AACR-Bench: Valutazione della Revisione Automatica del Codice con un Contesto Olistico a Livello di Repository

AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context

Abstract

Support