AACR-Bench : Évaluation de la revue automatique de code avec un contexte holistique au niveau du dépôt

papers.abstract

Les référentiels d'évaluation de haute qualité sont essentiels pour le déploiement des modèles de langage de grande taille (LLM) dans la revue automatisée de code (ACR). Cependant, les référentiels existants souffrent de deux limitations critiques : premièrement, l'absence de support multilingue dans des contextes au niveau du référentiel, ce qui restreint la généralisabilité des résultats d'évaluation ; deuxièmement, la dépendance à une vérité terrain bruitée et incomplète, dérivée de commentaires bruts de demandes de tirage (PR), ce qui limite la portée de la détection des problèmes. Pour relever ces défis, nous présentons AACR-Bench, un référentiel complet qui fournit un contexte inter-fichiers complet sur plusieurs langages de programmation. Contrairement aux ensembles de données traditionnels, AACR-Bench emploie un pipeline d'annotation « assisté par IA, vérifié par des experts » pour détecter des défauts latents souvent négligés dans les PR d'origine, entraînant une augmentation de 285 % de la couverture des défauts. Des évaluations approfondies des LLM principaux sur AACR-Bench révèlent que les évaluations antérieures pourraient avoir soit mal jugé, soit seulement partiellement saisi les capacités des modèles en raison des limitations des données. Notre travail établit une norme plus rigoureuse pour l'évaluation ACR et offre de nouvelles perspectives sur l'ACR basée sur les LLM, à savoir que la granularité/niveau du contexte et le choix des méthodes de récupération impactent significativement les performances ACR, et cette influence varie selon le LLM, le langage de programmation et le paradigme d'utilisation du LLM, par exemple, si une architecture d'agent est employée. Le code, les données et les autres artefacts de notre ensemble d'évaluation sont disponibles à l'adresse https://github.com/alibaba/aacr-bench.

English

High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .

AACR-Bench : Évaluation de la revue automatique de code avec un contexte holistique au niveau du dépôt

AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context

papers.abstract

Support