HackerRank-ASTRA : Évaluation de la justesse et de la cohérence des grands modèles de langage sur des problèmes de projet multi-fichiers inter-domaines

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Auteurs: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Résumé

L'évaluation de l'applicabilité réelle des grands modèles de langage (GML) fournit des informations précieuses pour leur développement et leur utilisation dans les tâches de développement logiciel. Les benchmarks existants se concentrent souvent sur des problèmes de codage autonomes ou des bibliothèques spécifiques, en négligeant les scénarios basés sur des projets multi-fichiers et en manquant d'une évaluation rigoureuse de la cohérence. Le benchmark HackerRank-ASTRA introduit des problèmes de codage basés sur des projets qui reflètent des scénarios du monde réel. Il évalue la cohérence du modèle à travers 32 exécutions (k = 32) et l'écart type médian tout en incorporant une analyse au niveau de la taxonomie pour évaluer les capacités de sous-compétences. Les évaluations initiales sur 65 problèmes montrent que les trois meilleurs modèles - o1, o1-preview et Claude-3.5-Sonnet-1022 - ont obtenu des scores moyens comparables de 75 %, sans différences statistiquement significatives en termes de performances. Notamment, Claude-3.5-Sonnet-1022 a démontré la plus grande cohérence à travers les problèmes, avec une faible variabilité (SD = 0.0497), ce qui était statistiquement significatif par rapport aux autres modèles, soulignant sa fiabilité pour les tâches de développement logiciel du monde réel.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.