あなたのモデルは本当に優れた数学的推論者か？チェックリストを用いた数学的推論の評価

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

著者: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

要旨

卓越な数学的推論能力は、大規模言語モデル（LLMs）の力を示す重要な特徴の一つです。LLMsの数学的能力を包括的に定義し評価する方法、さらには現実世界のシナリオにおけるユーザー体験を反映することは、重要な課題として浮上しています。現在のベンチマークは主に問題解決能力に焦点を当てており、モデルの過剰適合のリスクが大きく、真の数学的推論能力を正確に表すことができていません。本論文では、モデルが本当に問題を理解しているならば、多様なタスクに頑健かつ容易に適用できるべきであると主張します。この動機に基づき、タスクの一般化と推論の頑健性をテストするための設計されたチェックリストであるMATHCHECKと、チェックリストを効率的に生成する自動ツールを導入します。MATHCHECKは、数学的推論能力と行動テストの包括的な評価を促進するために、複数の数学的推論タスクと頑健性テストタイプを含んでいます。MATHCHECKを活用して、数学的テキスト推論能力とマルチモーダル推論能力をそれぞれ評価するために、MATHCHECK-GSMとMATHCHECK-GEOを開発し、GSM8k、GeoQA、UniGeo、Geometry3Kなどのベンチマークのアップグレード版として機能させます。MATHCHECK-GSMとMATHCHECK-GEOを採用して、20以上のLLMsと11のMLLMsを評価し、それらの包括的な数学的推論能力を評価します。結果は、GPT-4oのような最先端のLLMsがチェックリスト上の様々な能力で引き続き優れている一方、他の多くのモデルファミリーが著しい低下を示すことを示しています。さらなる実験は、従来の数学ベンチマークと比較して、MATHCHECKが真の数学的能力をより良く反映し、数学的知能をより線形的に表すことを示しており、それによって我々の設計を支持しています。我々のMATHCHECKでは、詳細な行動分析を容易に行い、モデルを深く調査することができます。

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.