Эмпирическое исследование решения сложных математических задач с использованием GPT-4

An Empirical Study on Challenging Math Problem Solving with GPT-4

June 2, 2023

Авторы: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang

cs.AI

Аннотация

Применение крупных языковых моделей (LLM) для решения математических задач представляет собой увлекательное направление исследований, учитывая обилие математических задач, сформулированных на естественном языке в различных областях науки и техники. Хотя в ряде предыдущих работ изучалось решение элементарных математических задач с использованием LLM, данное исследование исследует границы применения GPT-4 для решения более сложных и трудных математических задач. Мы оцениваем различные подходы к использованию GPT-4. Некоторые из них адаптированы из существующих работ, а один — \MathChat, новый диалоговый фреймворк для решения задач, предложенный в данной работе. Оценка проводится на сложных задачах из школьных олимпиад из набора данных MATH, что демонстрирует преимущество предложенного диалогового подхода.

English

Employing Large Language Models (LLMs) to address mathematical problems is an intriguing research endeavor, considering the abundance of math problems expressed in natural language across numerous science and engineering fields. While several prior works have investigated solving elementary mathematics using LLMs, this work explores the frontier of using GPT-4 for solving more complex and challenging math problems. We evaluate various ways of using GPT-4. Some of them are adapted from existing work, and one is \MathChat, a conversational problem-solving framework newly proposed in this work. We perform the evaluation on difficult high school competition problems from the MATH dataset, which shows the advantage of the proposed conversational approach.