Il tuo modello è davvero un buon ragionatore matematico? Valutare il ragionamento matematico con Checklist

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Autori: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Abstract

La capacità eccezionale di ragionamento matematico è una delle caratteristiche chiave che dimostrano la potenza dei grandi modelli linguistici (LLM). Come definire e valutare in modo completo le abilità matematiche degli LLM, e persino riflettere l'esperienza dell'utente in scenari reali, è emerso come un problema critico. Gli attuali benchmark si concentrano prevalentemente sulle capacità di risoluzione dei problemi, il che presenta un rischio sostanziale di overfitting del modello e non rappresenta accuratamente le genuine capacità di ragionamento matematico. In questo articolo, sosteniamo che se un modello comprende veramente un problema, dovrebbe essere robustamente e prontamente applicabile a una vasta gamma di compiti. Motivati da ciò, introduciamo MATHCHECK, una checklist ben progettata per testare la generalizzazione dei compiti e la robustezza del ragionamento, nonché uno strumento automatico per generare checklist in modo efficiente. MATHCHECK include molteplici compiti di ragionamento matematico e tipi di test di robustezza per facilitare una valutazione completa sia delle abilità di ragionamento matematico che dei test comportamentali. Utilizzando MATHCHECK, sviluppiamo MATHCHECK-GSM e MATHCHECK-GEO per valutare rispettivamente le capacità di ragionamento testuale matematico e di ragionamento multimodale, servendo come versioni aggiornate di benchmark come GSM8k, GeoQA, UniGeo e Geometry3K. Adottiamo MATHCHECK-GSM e MATHCHECK-GEO per valutare oltre 20 LLM e 11 MLLM, valutando le loro capacità complessive di ragionamento matematico. I nostri risultati dimostrano che mentre LLM all'avanguardia come GPT-4o continuano a eccellere in varie abilità sulla checklist, molte altre famiglie di modelli mostrano un significativo declino. Ulteriori esperimenti indicano che, rispetto ai tradizionali benchmark matematici, MATHCHECK riflette meglio le vere abilità matematiche e rappresenta l'intelligenza matematica in modo più lineare, supportando così il nostro design. Sul nostro MATHCHECK, possiamo facilmente condurre analisi comportamentali dettagliate per investigare a fondo i modelli.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.