AACR-Bench：リポジトリ全体の文脈に基づく自動コードレビューの評価

要旨

大規模言語モデル（LLM）を自動コードレビュー（ACR）に適用する際、高品質な評価ベンチマークは極めて重要です。しかし既存のベンチマークには二つの重大な課題があります。第一に、リポジトリレベルでの多言語サポートが不足しており、評価結果の一般化が制限されている点。第二に、生のプルリクエスト（PR）コメントから得られたノイズの多い不完全な正解データに依存しているため、検出可能な課題範囲が限定されている点です。これらの課題を解決するため、我々は複数プログラミング言語にわたる完全なクロスファイルコンテキストを提供する総合ベンチマークAACR-Benchを提案します。従来のデータセットと異なり、AACR-Benchは「AI支援・専門家検証」型のアノテーションパイプラインを採用し、元のPRでは見落とされがちな潜在欠陥を発見することで、欠陥検出範囲を285%拡大することに成功しました。AACR-Benchを用いた主要LLMの大規模評価により、従来の評価手法はデータ制限によりモデル能力を誤評価または部分的にしか捕捉できていなかった可能性が明らかになりました。本研究はACR評価のより厳密な基準を確立するとともに、LLMベースACRに関する新たな知見を提供します。具体的には、コンテキストの粒度/レベルと検索手法の選択がACR性能に大きく影響し、この影響度がLLMの種類、プログラミング言語、さらにエージェントアーキテクチャの採用の有無といったLLM利用パラダイムに応じて変化することを示しました。評価セットのコード、データ、その他の成果物はhttps://github.com/alibaba/aacr-bench で公開しています。

English

High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .

AACR-Bench：リポジトリ全体の文脈に基づく自動コードレビューの評価

AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context

要旨

Support