Действительно ли ваша модель является хорошим математическим рассудителем? Оценка математического рассуждения с помощью чек-листа

Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

July 11, 2024

Авторы: Zihao Zhou, Shudong Liu, Maizhen Ning, Wei Liu, Jindong Wang, Derek F. Wong, Xiaowei Huang, Qiufeng Wang, Kaizhu Huang

cs.AI

Аннотация

Исключительная математическая способность рассуждения является одной из ключевых особенностей, демонстрирующих мощь больших языковых моделей (LLM). Как всесторонне определить и оценить математические способности LLM, а также отразить опыт пользователя в реальных сценариях, стало критической проблемой. Существующие бенчмарки в основном сосредотачиваются на способностях к решению проблем, что представляет существенный риск переобучения модели и не позволяет точно представить истинные математические способности рассуждения. В данной статье мы утверждаем, что если модель действительно понимает проблему, она должна надежно и легко применяться в разнообразных задачах. Вдохновленные этим, мы представляем MATHCHECK, хорошо спроектированный чеклист для тестирования обобщения задач и устойчивости рассуждений, а также автоматическое средство для эффективной генерации чеклистов. MATHCHECK включает в себя несколько математических задач рассуждения и типов тестов на устойчивость для облегчения всесторонней оценки как математических способностей рассуждения, так и тестирования поведения. Используя MATHCHECK, мы разрабатываем MATHCHECK-GSM и MATHCHECK-GEO для оценки математического текстового рассуждения и мультимодальных способностей рассуждения соответственно, выступая в качестве улучшенных версий бенчмарков, включая GSM8k, GeoQA, UniGeo и Geometry3K. Мы применяем MATHCHECK-GSM и MATHCHECK-GEO для оценки более чем 20 LLM и 11 MLLM, оценивая их всесторонние математические способности рассуждения. Наши результаты показывают, что в то время как передовые LLM, такие как GPT-4o, продолжают превосходить в различных способностях по чеклисту, многие другие семейства моделей демонстрируют значительное снижение. Дополнительные эксперименты показывают, что, в сравнении с традиционными математическими бенчмарками, MATHCHECK лучше отражает истинные математические способности и более линейно представляет математическое интеллект, тем самым поддерживая наш дизайн. На нашем MATHCHECK мы легко можем проводить детальный анализ поведения для глубокого изучения моделей.

English

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.