Alpha Excel Benchmark

Samenvatting

Dit onderzoek presenteert een nieuwe benchmark voor het evalueren van Large Language Models (LLM's) aan de hand van uitdagingen afkomstig uit de Financial Modeling World Cup (FMWC) Excel-competities. We introduceren een methodologie voor het omzetten van 113 bestaande FMWC-uitdagingen naar programmatisch evalueerbare JSON-formaten en gebruiken deze dataset om de prestaties van verschillende toonaangevende LLM's te vergelijken. Onze bevindingen laten significante variaties in prestaties zien tussen verschillende uitdagingcategorieën, waarbij modellen specifieke sterktes vertonen in patroonherkenningstaken, maar moeite hebben met complexe numerieke redenering. De benchmark biedt een gestandaardiseerd kader voor het beoordelen van LLM-capaciteiten in realistische, op het bedrijfsleven gerichte taken in plaats van abstracte academische problemen. Dit onderzoek draagt bij aan het groeiende veld van AI-benchmarking door het vaststellen van vaardigheid onder de 1,5 miljard mensen die dagelijks Microsoft Excel gebruiken als een betekenisvolle evaluatiemetriek die de kloof overbrugt tussen academische AI-benchmarks en praktische zakelijke toepassingen.

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.