Benchmark Alpha Excel

Alpha Excel Benchmark

May 7, 2025

Autores: David Noever, Forrest McKee

cs.AI

Resumo

Este estudo apresenta um novo benchmark para avaliar Modelos de Linguagem de Grande Escala (LLMs) utilizando desafios derivados das competições de Excel do Financial Modeling World Cup (FMWC). Introduzimos uma metodologia para converter 113 desafios existentes do FMWC em formatos JSON avaliáveis programaticamente e utilizamos esse conjunto de dados para comparar o desempenho de vários LLMs líderes. Nossos resultados demonstram variações significativas no desempenho entre diferentes categorias de desafios, com os modelos mostrando pontos fortes específicos em tarefas de reconhecimento de padrões, mas enfrentando dificuldades com raciocínio numérico complexo. O benchmark fornece uma estrutura padronizada para avaliar as capacidades dos LLMs em tarefas realistas orientadas para negócios, em vez de problemas acadêmicos abstratos. Esta pesquisa contribui para o crescente campo de benchmarking de IA ao estabelecer a proficiência entre os 1,5 bilhão de pessoas que utilizam o Microsoft Excel diariamente como uma métrica de avaliação significativa que preenche a lacuna entre benchmarks acadêmicos de IA e aplicações práticas de negócios.

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.