¿Tu modelo es realmente un buen razonador matemático? Evaluación del razonamiento matemático con lista de verificación

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Autores: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Resumen

La capacidad excepcional de razonamiento matemático es una de las características clave que demuestran el poder de los modelos de lenguaje grandes (LLMs). Cómo definir y evaluar de manera integral las habilidades matemáticas de los LLMs, e incluso reflejar la experiencia del usuario en escenarios del mundo real, ha surgido como un problema crítico. Los benchmarks actuales se centran predominantemente en las capacidades de resolución de problemas, lo que presenta un riesgo sustancial de sobreajuste del modelo y no logra representar con precisión las auténticas habilidades de razonamiento matemático. En este documento, argumentamos que si un modelo realmente comprende un problema, debería poder aplicarse de manera robusta y rápida en una amplia variedad de tareas. Motivados por esto, presentamos MATHCHECK, una lista de verificación bien diseñada para probar la generalización de tareas y la robustez del razonamiento, así como una herramienta automática para generar listas de verificación de manera eficiente. MATHCHECK incluye múltiples tareas de razonamiento matemático y tipos de pruebas de robustez para facilitar una evaluación integral tanto de la habilidad de razonamiento matemático como de las pruebas de comportamiento. Utilizando MATHCHECK, desarrollamos MATHCHECK-GSM y MATHCHECK-GEO para evaluar el razonamiento textual matemático y las capacidades de razonamiento multimodal, respectivamente, sirviendo como versiones mejoradas de benchmarks como GSM8k, GeoQA, UniGeo y Geometry3K. Adoptamos MATHCHECK-GSM y MATHCHECK-GEO para evaluar más de 20 LLMs y 11 MLLMs, evaluando sus habilidades de razonamiento matemático de manera integral. Nuestros resultados demuestran que, si bien los LLMs de vanguardia como GPT-4o continúan destacándose en diversas habilidades en la lista de verificación, muchas otras familias de modelos muestran un declive significativo. Experimentos adicionales indican que, en comparación con los benchmarks matemáticos tradicionales, MATHCHECK refleja mejor las verdaderas habilidades matemáticas y representa de manera más lineal la inteligencia matemática, respaldando así nuestro diseño. Con nuestro MATHCHECK, podemos realizar fácilmente un análisis detallado del comportamiento para investigar a fondo los modelos.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.