Ist Ihr Modell wirklich ein guter Mathematik-Argumentierer? Evaluierung mathematischen Argumentierens mit Checkliste

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Autoren: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Zusammenfassung

Eine außergewöhnliche mathematische Denkfähigkeit ist eine der Schlüsselfunktionen, die die Leistung großer Sprachmodelle (LLMs) demonstrieren. Wie man die mathematischen Fähigkeiten von LLMs umfassend definiert und bewertet und sogar die Benutzererfahrung in realen Szenarien widerspiegelt, hat sich als kritische Fragestellung herauskristallisiert. Aktuelle Benchmarks konzentrieren sich hauptsächlich auf Problemlösungsfähigkeiten, was ein erhebliches Risiko von Modellüberanpassung darstellt und echte mathematische Denkfähigkeiten nicht genau repräsentiert. In diesem Artikel argumentieren wir, dass ein Modell, das ein Problem wirklich versteht, robust und problemlos auf eine Vielzahl von Aufgaben angewendet werden sollte. Aus diesem Antrieb heraus führen wir MATHCHECK ein, eine gut durchdachte Checkliste zur Prüfung der Aufgabenverallgemeinerung und der Denkrobustheit sowie ein automatisches Tool zur effizienten Generierung von Checklisten. MATHCHECK umfasst mehrere mathematische Denkaufgaben und Robustheitstesttypen, um eine umfassende Bewertung sowohl der mathematischen Denkfähigkeit als auch des Verhaltens zu erleichtern. Unter Verwendung von MATHCHECK entwickeln wir MATHCHECK-GSM und MATHCHECK-GEO zur Bewertung mathematischer textueller Denkfähigkeiten bzw. multimodaler Denkfähigkeiten und dienen als verbesserte Versionen von Benchmarks wie GSM8k, GeoQA, UniGeo und Geometry3K. Wir setzen MATHCHECK-GSM und MATHCHECK-GEO ein, um über 20 LLMs und 11 MLLMs zu bewerten und ihre umfassenden mathematischen Denkfähigkeiten zu beurteilen. Unsere Ergebnisse zeigen, dass während Spitzen-LLMs wie GPT-4o weiterhin in verschiedenen Fähigkeiten auf der Checkliste herausragen, viele andere Modellfamilien einen signifikanten Rückgang aufweisen. Weitere Experimente deuten darauf hin, dass MATHCHECK im Vergleich zu traditionellen mathematischen Benchmarks die wahren mathematischen Fähigkeiten besser widerspiegelt und mathematische Intelligenz linearer darstellt, wodurch unser Design unterstützt wird. Mit unserem MATHCHECK können wir leicht detaillierte Verhaltensanalysen durchführen, um Modelle eingehend zu untersuchen.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.