HackerRank-ASTRA: Оценка правильности и согласованности больших языковых моделей на многофайловых проектах с кросс-доменными проблемами.

HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems

January 31, 2025

Авторы: Jun Xing, Mayur Bhatia, Sahil Phulwani, Darshan Suresh, Rafik Matta

cs.AI

Аннотация

Оценка применимости крупных языковых моделей (КЯМ) в реальном мире предоставляет ценные идеи для их разработки и использования в задачах программирования. Существующие бенчмарки часто сосредотачиваются на отдельных задачах кодирования или конкретных библиотеках, игнорируя сценарии на основе проектов с несколькими файлами и не обеспечивая строгой оценки согласованности. Бенчмарк HackerRank-ASTRA представляет задачи по программированию на основе проектов, отражающие реальные сценарии. Он оценивает согласованность модели через 32 запуска (k = 32) и медианное стандартное отклонение, включая анализ на уровне таксономии для оценки возможностей поднавыков. Первоначальные оценки на 65 задачах показывают, что три лучшие модели - o1, o1-preview и Claude-3.5-Sonnet-1022 - достигли сравнимых средних баллов 75%, без статистически значимых различий в производительности. Заметно, что модель Claude-3.5-Sonnet-1022 продемонстрировала наивысшую согласованность по задачам, с низкой изменчивостью (SD = 0.0497), что статистически значимо по сравнению с другими моделями, подчеркивая ее надежность для задач разработки программного обеспечения в реальном мире.

English

Evaluating the real-world applicability of large language models (LLMs) provides valuable insights for their development and use in software development tasks. Existing benchmarks often focus on standalone coding problems or specific libraries, overlooking multi-file, project-based scenarios and lacking a rigorous evaluation of consistency. The HackerRank-ASTRA Benchmark introduces project-based coding problems that mirror real-world scenarios. It evaluates model consistency through 32 runs (k = 32) and median standard deviation while incorporating taxonomy-level analysis to assess sub-skill capabilities. Initial evaluations on 65 problems show that the top three models -- o1, o1-preview, and Claude-3.5-Sonnet-1022 -- achieved comparable average scores of 75%, with no statistically significant differences in performance. Notably, Claude-3.5-Sonnet-1022 demonstrated the highest consistency across problems, with low variability (SD = 0.0497), which was statistically significant compared to other models, highlighting its reliability for real-world software development tasks.