AACR-Bench: Оценка автоматического рецензирования кода с использованием целостного контекста на уровне репозитория
AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context
January 27, 2026
Авторы: Lei Zhang, Yongda Yu, Minghui Yu, Xinxin Guo, Zhengqi Zhuang, Guoping Rong, Dong Shao, Haifeng Shen, Hongyu Kuang, Zhengfeng Li, Boge Wang, Guoan Zhang, Bangyu Xiang, Xiaobin Xu
cs.AI
Аннотация
Высококачественные оценочные бенчмарки имеют ключевое значение для внедрения больших языковых моделей (LLM) в автоматизированный обзор кода (ACR). Однако существующие бенчмарки страдают от двух критических ограничений: во-первых, отсутствие поддержки нескольких языков программирования в контекстах уровня репозитория, что снижает обобщаемость результатов оценки; во-вторых, зависимость от зашумленных, неполных эталонных данных, полученных из сырых комментариев к пулл-реквестам (PR), что ограничивает охват обнаружения проблем. Для решения этих задач мы представляем AACR-Bench — комплексный бенчмарк, обеспечивающий полный межфайловый контекст для нескольких языков программирования. В отличие от традиционных наборов данных, AACR-Bench использует процесс аннотирования «с участием ИИ, с проверкой экспертами» для выявления скрытых дефектов, часто упускаемых в исходных PR, что привело к увеличению охвата дефектов на 285%. Обширные оценки основных LLM на AACR-Bench показывают, что предыдущие оценки могли либо неверно оценить, либо лишь частично отразить возможности моделей из-за ограничений данных. Наша работа устанавливает более строгий стандарт для оценки ACR и предлагает новые insights относительно ACR на основе LLM, а именно: гранулярность/уровень контекста и выбор методов поиска существенно влияют на производительность ACR, и это влияние варьируется в зависимости от конкретной LLM, языка программирования и парадигмы использования LLM (например, используется ли агентская архитектура). Код, данные и другие артефакты нашего набора для оценки доступны по адресу https://github.com/alibaba/aacr-bench.
English
High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .