HackerRank-ASTRA: Evaluación de la Corrección y Consistencia de Modelos de Lenguaje Grandes en problemas de proyectos multi-archivo de dominios cruzados

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Autores: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Resumen

Evaluar la aplicabilidad en el mundo real de los modelos de lenguaje grandes (LLMs) proporciona información valiosa para su desarrollo y uso en tareas de desarrollo de software. Los benchmarks existentes a menudo se centran en problemas de codificación independientes o bibliotecas específicas, pasando por alto escenarios basados en proyectos de múltiples archivos y careciendo de una evaluación rigurosa de la consistencia. El Benchmark HackerRank-ASTRA introduce problemas de codificación basados en proyectos que reflejan escenarios del mundo real. Evalúa la consistencia del modelo a través de 32 ejecuciones (k = 32) y la desviación estándar mediana, al tiempo que incorpora un análisis a nivel de taxonomía para evaluar las capacidades de sub-habilidades. Las evaluaciones iniciales en 65 problemas muestran que los tres mejores modelos -- o1, o1-preview y Claude-3.5-Sonnet-1022 -- lograron puntuaciones promedio comparables del 75%, sin diferencias estadísticamente significativas en el rendimiento. Es notable que Claude-3.5-Sonnet-1022 demostró la mayor consistencia en los problemas, con baja variabilidad (SD = 0.0497), lo cual fue estadísticamente significativo en comparación con otros modelos, resaltando su confiabilidad para tareas de desarrollo de software del mundo real.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.