Benchmark Alpha Excel

Alpha Excel Benchmark

May 7, 2025

Autori: David Noever, Forrest McKee

cs.AI

Abstract

Questo studio presenta un nuovo benchmark per valutare i Large Language Model (LLM) utilizzando sfide derivate dalle competizioni Excel del Financial Modeling World Cup (FMWC). Introduciamo una metodologia per convertire 113 sfide esistenti del FMWC in formati JSON valutabili programmaticamente e utilizziamo questo dataset per confrontare le prestazioni di diversi LLM leader. I nostri risultati dimostrano variazioni significative nelle prestazioni tra le diverse categorie di sfide, con i modelli che mostrano punti di forza specifici nei compiti di riconoscimento di pattern ma difficoltà nel ragionamento numerico complesso. Il benchmark fornisce un framework standardizzato per valutare le capacità degli LLM in compiti realistici orientati al business piuttosto che in problemi accademici astratti. Questa ricerca contribuisce al crescente campo dei benchmark di IA stabilendo la competenza tra gli 1,5 miliardi di persone che utilizzano quotidianamente Microsoft Excel come una metrica di valutazione significativa che colma il divario tra i benchmark accademici di IA e le applicazioni pratiche nel mondo degli affari.

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.