アルファエクセルベンチマーク

Alpha Excel Benchmark

May 7, 2025

著者: David Noever, Forrest McKee

cs.AI

要旨

本研究では、Financial Modeling World Cup (FMWC) Excelコンペティションから派生した課題を用いて、大規模言語モデル（LLMs）を評価するための新たなベンチマークを提案します。既存の113のFMWC課題をプログラム的に評価可能なJSON形式に変換する手法を導入し、このデータセットを用いて複数の主要なLLMsの性能を比較しました。その結果、異なる課題カテゴリー間で性能に大きなばらつきが見られ、モデルはパターン認識タスクでは特定の強みを示す一方、複雑な数値推論には苦戦することが明らかになりました。このベンチマークは、抽象的な学術的問題ではなく、現実的なビジネス指向のタスクにおけるLLMの能力を評価するための標準化された枠組みを提供します。本研究は、Microsoft Excelを日常的に使用する15億人の熟練度を有意義な評価指標として確立することで、学術的なAIベンチマークと実践的なビジネスアプリケーションの間のギャップを埋めることにより、AIベンチマークの分野の発展に貢献します。

English

This study presents a novel benchmark for evaluating Large Language Models (LLMs) using challenges derived from the Financial Modeling World Cup (FMWC) Excel competitions. We introduce a methodology for converting 113 existing FMWC challenges into programmatically evaluable JSON formats and use this dataset to compare the performance of several leading LLMs. Our findings demonstrate significant variations in performance across different challenge categories, with models showing specific strengths in pattern recognition tasks but struggling with complex numerical reasoning. The benchmark provides a standardized framework for assessing LLM capabilities in realistic business-oriented tasks rather than abstract academic problems. This research contributes to the growing field of AI benchmarking by establishing proficiency among the 1.5 billion people who daily use Microsoft Excel as a meaningful evaluation metric that bridges the gap between academic AI benchmarks and practical business applications.