AACR-Bench: Evaluación de la Revisión Automática de Código con Contexto Holístico a Nivel de Repositorio

Resumen

Los puntos de referencia de evaluación de alta calidad son cruciales para implementar Modelos de Lenguaje a Gran Escala (LLM) en la Revisión Automatizada de Código (ACR). Sin embargo, los puntos de referencia existentes adolecen de dos limitaciones críticas: primero, la falta de soporte multilingüe en contextos a nivel de repositorio, lo que restringe la generalización de los resultados de evaluación; segundo, la dependencia de una verdad de base ruidosa e incompleta derivada de comentarios crudos de Pull Requests (PR), lo que limita el alcance de la detección de problemas. Para abordar estos desafíos, presentamos AACR-Bench, un punto de referencia integral que proporciona un contexto completo de archivos cruzados en múltiples lenguajes de programación. A diferencia de los conjuntos de datos tradicionales, AACR-Bench emplea una canalización de anotación "Asistida por IA, Verificada por Expertos" para descubrir defectos latentes que a menudo se pasan por alto en los PR originales, lo que resulta en un aumento del 285% en la cobertura de defectos. Las evaluaciones exhaustivas de los LLM principales en AACR-Bench revelan que las evaluaciones previas pueden haber juzgado erróneamente o solo captado parcialmente las capacidades de los modelos debido a limitaciones de los datos. Nuestro trabajo establece un estándar más riguroso para la evaluación de ACR y ofrece nuevas perspectivas sobre la ACR basada en LLM; es decir, la granularidad/nivel del contexto y la elección de los métodos de recuperación impactan significativamente el rendimiento de ACR, y esta influencia varía según el LLM, el lenguaje de programación y el paradigma de uso del LLM, por ejemplo, si se emplea una arquitectura de Agente. El código, los datos y otros artefactos de nuestro conjunto de evaluación están disponibles en https://github.com/alibaba/aacr-bench.

English

High-quality evaluation benchmarks are pivotal for deploying Large Language Models (LLMs) in Automated Code Review (ACR). However, existing benchmarks suffer from two critical limitations: first, the lack of multi-language support in repository-level contexts, which restricts the generalizability of evaluation results; second, the reliance on noisy, incomplete ground truth derived from raw Pull Request (PR) comments, which constrains the scope of issue detection. To address these challenges, we introduce AACR-Bench a comprehensive benchmark that provides full cross-file context across multiple programming languages. Unlike traditional datasets, AACR-Bench employs an "AI-assisted, Expert-verified" annotation pipeline to uncover latent defects often overlooked in original PRs, resulting in a 285% increase in defect coverage. Extensive evaluations of mainstream LLMs on AACR-Bench reveal that previous assessments may have either misjudged or only partially captured model capabilities due to data limitations. Our work establishes a more rigorous standard for ACR evaluation and offers new insights on LLM based ACR, i.e., the granularity/level of context and the choice of retrieval methods significantly impact ACR performance, and this influence varies depending on the LLM, programming language, and the LLM usage paradigm e.g., whether an Agent architecture is employed. The code, data, and other artifacts of our evaluation set are available at https://github.com/alibaba/aacr-bench .

AACR-Bench: Evaluación de la Revisión Automática de Código con Contexto Holístico a Nivel de Repositorio

AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context

Resumen

Support