Votre modèle est-il vraiment un bon raisonneur mathématique ? Évaluation du raisonnement mathématique avec Checklist

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Auteurs: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Résumé

La capacité exceptionnelle de raisonnement mathématique est l'une des caractéristiques clés qui démontrent la puissance des grands modèles de langage (LLMs). La manière de définir et d'évaluer de manière exhaustive les capacités mathématiques des LLMs, tout en reflétant l'expérience utilisateur dans des scénarios réels, est devenue une question cruciale. Les benchmarks actuels se concentrent principalement sur les capacités de résolution de problèmes, ce qui présente un risque substantiel de surajustement des modèles et ne parvient pas à représenter avec précision les véritables capacités de raisonnement mathématique. Dans cet article, nous soutenons que si un modèle comprend vraiment un problème, il devrait être robustement et facilement applicable à une diversité de tâches. Motivés par cette idée, nous introduisons MATHCHECK, une checklist bien conçue pour tester la généralisation des tâches et la robustesse du raisonnement, ainsi qu'un outil automatique pour générer des checklists de manière efficace. MATHCHECK inclut plusieurs tâches de raisonnement mathématique et types de tests de robustesse pour faciliter une évaluation complète des capacités de raisonnement mathématique et des tests de comportement. En utilisant MATHCHECK, nous développons MATHCHECK-GSM et MATHCHECK-GEO pour évaluer respectivement les capacités de raisonnement textuel mathématique et de raisonnement multimodal, servant de versions améliorées des benchmarks incluant GSM8k, GeoQA, UniGeo et Geometry3K. Nous adoptons MATHCHECK-GSM et MATHCHECK-GEO pour évaluer plus de 20 LLMs et 11 MLLMs, en évaluant leurs capacités globales de raisonnement mathématique. Nos résultats démontrent que bien que les LLMs de pointe comme GPT-4o continuent d'exceller dans diverses capacités sur la checklist, de nombreuses autres familles de modèles montrent un déclin significatif. Des expériences supplémentaires indiquent que, comparé aux benchmarks mathématiques traditionnels, MATHCHECK reflète mieux les véritables capacités mathématiques et représente l'intelligence mathématique de manière plus linéaire, soutenant ainsi notre conception. Sur notre MATHCHECK, nous pouvons facilement conduire des analyses comportementales détaillées pour approfondir l'étude des modèles.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.