AACR-Bench: Evaluatie van Automatische Code-Review met Holistische Repository-Niveau Context
AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context
January 27, 2026
Auteurs: Lei Zhang, Yongda Yu, Minghui Yu, Xinxin Guo, Zhengqi Zhuang, Guoping Rong, Dong Shao, Haifeng Shen, Hongyu Kuang, Zhengfeng Li, Boge Wang, Guoan Zhang, Bangyu Xiang, Xiaobin Xu
cs.AI
Samenvatting
Hoogwaardige evaluatiebenchmarks zijn cruciaal voor de inzet van Large Language Models (LLM's) bij geautomatiseerde codereviews (ACR). Bestaande benchmarks kampen echter met twee kritieke beperkingen: ten eerste het gebrek aan ondersteuning voor meerdere programmeertalen op repositoryniveau, wat de generaliseerbaarheid van evaluatieresultaten beperkt; ten tweede de afhankelijkheid van ruisachtige, onvolledige grondwaarheden afkomstig van ruwe Pull Request (PR)-commentaren, wat de reikwijdte van probleemdetectie beperkt. Om deze uitdagingen aan te pakken, introduceren we AACR-Bench, een uitgebreide benchmark die volledige cross-file context biedt voor meerdere programmeertalen. In tegenstelling tot traditionele datasets hanteert AACR-Bench een "AI-ondersteund, expert-geverifieerd" annotatiepijplijn om latente defecten bloot te leggen die vaak over het hoofd worden gezien in originele PR's, wat resulteert in een toename van 285% in defectdekking. Uitgebreide evaluaties van mainstream LLM's op AACR-Bench tonen aan dat eerdere beoordelingen de modelcapaciteiten mogelijk verkeerd hebben ingeschat of slechts gedeeltelijk hebben vastgelegd vanwege databeperkingen. Ons werk stelt een strengere standaard vast voor ACR-evaluatie en biedt nieuwe inzichten in LLM-gebaseerde ACR, namelijk dat de granulariteit/het niveau van context en de keuze van retrievemethoden de ACR-prestaties significant beïnvloeden, en dat deze invloed varieert afhankelijk van het LLM, de programmeertaal en het LLM-gebruiksparadigma (bijv. of een Agent-architectuur wordt gebruikt). De code, data en andere artefacten van onze evaluatieset zijn beschikbaar op https://github.com/alibaba/aacr-bench.
English
High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .