AACR-Bench: Avaliando a Revisão Automática de Código com Contexto Holístico em Nível de Repositório
AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context
January 27, 2026
Autores: Lei Zhang, Yongda Yu, Minghui Yu, Xinxin Guo, Zhengqi Zhuang, Guoping Rong, Dong Shao, Haifeng Shen, Hongyu Kuang, Zhengfeng Li, Boge Wang, Guoan Zhang, Bangyu Xiang, Xiaobin Xu
cs.AI
Resumo
Os benchmarks de avaliação de alta qualidade são fundamentais para a implantação de Grandes Modelos de Linguagem (LLMs) na Revisão Automatizada de Código (ACR). No entanto, os benchmarks existentes sofrem de duas limitações críticas: primeiro, a falta de suporte multi-idioma em contextos de nível de repositório, o que restringe a generalização dos resultados de avaliação; segundo, a dependência de verdades fundamentais ruidosas e incompletas derivadas de comentários brutos de Pull Requests (PRs), o que limita o escopo da detecção de problemas. Para enfrentar esses desafios, introduzimos o AACR-Bench, um benchmark abrangente que fornece contexto completo entre arquivos em várias linguagens de programação. Diferente dos conjuntos de dados tradicionais, o AACR-Bench emprega um pipeline de anotação "Assistido por IA, Verificado por Especialistas" para descobrir defeitos latentes frequentemente ignorados nos PRs originais, resultando em um aumento de 285% na cobertura de defeitos. Avaliações extensivas de LLMs principais no AACR-Bench revelam que avaliações anteriores podem ter julgado mal ou capturado apenas parcialmente as capacidades dos modelos devido a limitações dos dados. Nosso trabalho estabelece um padrão mais rigoroso para a avaliação de ACR e oferece novos insights sobre ACR baseada em LLMs, ou seja, a granularidade/nível do contexto e a escolha dos métodos de recuperação impactam significativamente o desempenho da ACR, e essa influência varia dependendo do LLM, da linguagem de programação e do paradigma de uso do LLM, por exemplo, se uma arquitetura de Agente é empregada. O código, dados e outros artefatos do nosso conjunto de avaliação estão disponíveis em https://github.com/alibaba/aacr-bench.
English
High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .