HackerRank-ASTRA: Bewertung der Richtigkeit und Konsistenz großer Sprachmodelle bei plattformübergreifenden Multi-Datei-Projektproblemen

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Autoren: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Zusammenfassung

Die Evaluierung der praktischen Anwendbarkeit großer Sprachmodelle (LLMs) liefert wertvolle Einblicke für deren Entwicklung und Nutzung in Softwareentwicklungsaufgaben. Bestehende Benchmarks konzentrieren sich oft auf eigenständige Codierungsprobleme oder spezifische Bibliotheken, vernachlässigen mehrdateibasierte, projektbasierte Szenarien und bieten keine strenge Bewertung der Konsistenz. Der HackerRank-ASTRA-Benchmark stellt projektbasierte Codierungsprobleme vor, die reale Szenarien widerspiegeln. Er bewertet die Modellkonsistenz durch 32 Durchläufe (k = 32) und die mediane Standardabweichung unter Einbeziehung einer Taxonomieebene zur Bewertung von Teilkompetenzen. Erste Bewertungen zu 65 Problemen zeigen, dass die drei besten Modelle - o1, o1-preview und Claude-3.5-Sonnet-1022 - vergleichbare Durchschnittswerte von 75% erzielten, ohne statistisch signifikante Unterschiede in der Leistung. Bemerkenswerterweise zeigte Claude-3.5-Sonnet-1022 die höchste Konsistenz über Probleme hinweg mit geringer Variabilität (SD = 0,0497), was im Vergleich zu anderen Modellen statistisch signifikant war und seine Zuverlässigkeit für praktische Softwareentwicklungsaufgaben hervorhebt.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.