Um Estudo Empírico sobre a Resolução de Problemas Matemáticos Desafiadores com GPT-4

An Empirical Study on Challenging Math Problem Solving with GPT-4

June 2, 2023

Autores: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang

cs.AI

Resumo

Empregar Modelos de Linguagem de Grande Escala (LLMs) para abordar problemas matemáticos é uma empreitada de pesquisa intrigante, considerando a abundância de problemas matemáticos expressos em linguagem natural em diversos campos da ciência e engenharia. Embora vários trabalhos anteriores tenham investigado a resolução de matemática elementar usando LLMs, este trabalho explora a fronteira do uso do GPT-4 para resolver problemas matemáticos mais complexos e desafiadores. Avaliamos diversas formas de utilizar o GPT-4. Algumas delas são adaptadas de trabalhos existentes, e uma delas é o \MathChat, uma estrutura de resolução de problemas conversacional proposta neste trabalho. Realizamos a avaliação em problemas difíceis de competições do ensino médio do conjunto de dados MATH, o que demonstra a vantagem da abordagem conversacional proposta.

English

Employing Large Language Models (LLMs) to address mathematical problems is an intriguing research endeavor, considering the abundance of math problems expressed in natural language across numerous science and engineering fields. While several prior works have investigated solving elementary mathematics using LLMs, this work explores the frontier of using GPT-4 for solving more complex and challenging math problems. We evaluate various ways of using GPT-4. Some of them are adapted from existing work, and one is \MathChat, a conversational problem-solving framework newly proposed in this work. We perform the evaluation on difficult high school competition problems from the MATH dataset, which shows the advantage of the proposed conversational approach.