HackerRank-ASTRA: Evaluatie van de juistheid en consistentie van grote taalmodellen bij cross-domain multi-file project problemen

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Auteurs: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Samenvatting

Het evalueren van de praktische toepasbaarheid van grote taalmodellen (LLM's) biedt waardevolle inzichten voor hun ontwikkeling en gebruik bij softwareontwikkelingstaken. Bestaande benchmarks richten zich vaak op op zichzelf staande codeerproblemen of specifieke bibliotheken, waarbij meerdelige, op projecten gebaseerde scenario's over het hoofd worden gezien en een grondige evaluatie van consistentie ontbreekt. De HackerRank-ASTRA Benchmark introduceert op projecten gebaseerde codeerproblemen die echte scenario's weerspiegelen. Het evalueert modelconsistentie door middel van 32 runs (k = 32) en de mediaan standaardafwijking, waarbij taxonomieniveau-analyse wordt toegepast om subvaardigheden te beoordelen. Initieel onderzoek naar 65 problemen toont aan dat de top drie modellen -- o1, o1-preview en Claude-3.5-Sonnet-1022 -- vergelijkbare gemiddelde scores van 75% behaalden, zonder statistisch significante verschillen in prestaties. Opmerkelijk is dat Claude-3.5-Sonnet-1022 de hoogste consistentie over problemen vertoonde, met een lage variabiliteit (SD = 0.0497), wat statistisch significant was vergeleken met andere modellen, waarbij de betrouwbaarheid ervan voor praktische softwareontwikkelingstaken werd benadrukt.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.