Seu Modelo é Realmente um Bom Raciocinador Matemático? Avaliando o Raciocínio Matemático com uma Lista de Verificação

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Autores: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Resumo

A excepcional capacidade de raciocínio matemático é uma das principais características que demonstram o poder dos grandes modelos de linguagem (LLMs). Como definir e avaliar de forma abrangente as habilidades matemáticas dos LLMs, e até mesmo refletir a experiência do usuário em cenários do mundo real, emergiu como uma questão crítica. Os benchmarks atuais concentram predominantemente nas capacidades de resolução de problemas, o que apresenta um risco substancial de sobreajuste do modelo e falha em representar com precisão as verdadeiras habilidades de raciocínio matemático. Neste artigo, argumentamos que se um modelo realmente compreende um problema, ele deve ser aplicado de forma robusta e prontamente em uma ampla variedade de tarefas. Motivados por isso, introduzimos o MATHCHECK, uma lista de verificação bem projetada para testar a generalização de tarefas e a robustez de raciocínio, bem como uma ferramenta automática para gerar listas de verificação de forma eficiente. O MATHCHECK inclui várias tarefas de raciocínio matemático e tipos de teste de robustez para facilitar uma avaliação abrangente tanto da capacidade de raciocínio matemático quanto dos testes de comportamento. Utilizando o MATHCHECK, desenvolvemos o MATHCHECK-GSM e o MATHCHECK-GEO para avaliar o raciocínio textual matemático e as capacidades de raciocínio multimodal, respectivamente, servindo como versões aprimoradas de benchmarks incluindo GSM8k, GeoQA, UniGeo e Geometry3K. Adotamos o MATHCHECK-GSM e o MATHCHECK-GEO para avaliar mais de 20 LLMs e 11 MLLMs, avaliando suas abrangentes habilidades de raciocínio matemático. Nossos resultados demonstram que, enquanto os LLMs de ponta como o GPT-4o continuam a se destacar em várias habilidades da lista de verificação, muitas outras famílias de modelos exibem uma queda significativa. Experimentos adicionais indicam que, em comparação com benchmarks matemáticos tradicionais, o MATHCHECK reflete melhor as verdadeiras habilidades matemáticas e representa a inteligência matemática de forma mais linear, apoiando assim nosso design. Com o nosso MATHCHECK, podemos facilmente conduzir uma análise de comportamento detalhada para investigar profundamente os modelos.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.