Alpha Excel Benchmark

Alpha Excel Benchmark

May 7, 2025

Авторы: David Noever, Forrest McKee

cs.AI

Аннотация

В данном исследовании представлен новый эталонный тест для оценки больших языковых моделей (LLM), основанный на задачах, взятых из соревнований Financial Modeling World Cup (FMWC) по работе с Excel. Мы предлагаем методологию преобразования 113 существующих задач FMWC в программно оцениваемые форматы JSON и используем этот набор данных для сравнения производительности нескольких ведущих LLM. Результаты показывают значительные различия в производительности в различных категориях задач: модели демонстрируют сильные стороны в задачах распознавания паттернов, но испытывают трудности со сложными численными рассуждениями. Этот эталонный тест предоставляет стандартизированную основу для оценки возможностей LLM в реалистичных бизнес-ориентированных задачах, а не в абстрактных академических проблемах. Исследование вносит вклад в развивающуюся область тестирования ИИ, устанавливая уровень владения Microsoft Excel среди 1,5 миллиарда пользователей как значимый критерий оценки, который связывает академические тесты ИИ с практическими бизнес-приложениями.

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.