HackerRank-ASTRA: Valutazione della correttezza e coerenza dei grandi modelli linguistici su problemi di progetti multi-file cross-domain.

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Autori: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Abstract

Valutare l'applicabilità nel mondo reale dei grandi modelli linguistici (LLM) fornisce preziose intuizioni per lo sviluppo e l'uso in compiti di sviluppo software. I benchmark esistenti spesso si concentrano su problemi di codifica autonomi o specifiche librerie, trascurando scenari basati su progetti multi-file e mancando di una rigorosa valutazione della coerenza. Il Benchmark HackerRank-ASTRA introduce problemi di codifica basati su progetti che riflettono scenari del mondo reale. Valuta la coerenza del modello attraverso 32 esecuzioni (k = 32) e la deviazione standard mediana incorporando un'analisi a livello di tassonomia per valutare le capacità delle sotto-skill. Le valutazioni iniziali su 65 problemi mostrano che i primi tre modelli - o1, o1-preview e Claude-3.5-Sonnet-1022 - hanno ottenuto punteggi medi comparabili del 75%, senza differenze statisticamente significative nelle prestazioni. In particolare, Claude-3.5-Sonnet-1022 ha dimostrato la maggiore coerenza tra i problemi, con bassa variabilità (SD = 0.0497), che è stata statisticamente significativa rispetto agli altri modelli, evidenziando la sua affidabilità per compiti di sviluppo software nel mondo reale.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.