Benchmark Alpha Excel

Alpha Excel Benchmark

May 7, 2025

Auteurs: David Noever, Forrest McKee

cs.AI

Résumé

Cette étude présente un nouveau benchmark pour évaluer les modèles de langage de grande taille (LLMs) en utilisant des défis issus des compétitions Excel de la Coupe du Monde de Modélisation Financière (FMWC). Nous introduisons une méthodologie pour convertir 113 défis existants de la FMWC en formats JSON évaluables de manière programmatique et utilisons cet ensemble de données pour comparer les performances de plusieurs LLMs leaders. Nos résultats montrent des variations significatives de performance selon les catégories de défis, avec des modèles démontrant des forces spécifiques dans les tâches de reconnaissance de motifs mais rencontrant des difficultés avec le raisonnement numérique complexe. Le benchmark fournit un cadre standardisé pour évaluer les capacités des LLMs dans des tâches réalistes orientées vers les affaires plutôt que dans des problèmes académiques abstraits. Cette recherche contribue au domaine croissant du benchmarking en IA en établissant la maîtrise des 1,5 milliard de personnes utilisant quotidiennement Microsoft Excel comme une métrique d'évaluation significative qui comble le fossé entre les benchmarks académiques en IA et les applications pratiques en entreprise.

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.