Un Estudio Empírico sobre la Resolución de Problemas Matemáticos Desafiantes con GPT-4

An Empirical Study on Challenging Math Problem Solving with GPT-4

June 2, 2023

Autores: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang

cs.AI

Resumen

El empleo de Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) para abordar problemas matemáticos constituye un esfuerzo de investigación fascinante, dado la abundancia de problemas matemáticos expresados en lenguaje natural en numerosos campos de la ciencia y la ingeniería. Si bien varios trabajos previos han investigado la resolución de matemáticas elementales utilizando LLMs, este trabajo explora la frontera del uso de GPT-4 para resolver problemas matemáticos más complejos y desafiantes. Evaluamos diversas formas de utilizar GPT-4. Algunas de ellas están adaptadas de trabajos existentes, y una de ellas es \MathChat, un marco de resolución de problemas conversacional propuesto recientemente en este trabajo. Realizamos la evaluación en problemas difíciles de competencias de nivel secundario del conjunto de datos MATH, lo que demuestra la ventaja del enfoque conversacional propuesto.

English

Employing Large Language Models (LLMs) to address mathematical problems is an intriguing research endeavor, considering the abundance of math problems expressed in natural language across numerous science and engineering fields. While several prior works have investigated solving elementary mathematics using LLMs, this work explores the frontier of using GPT-4 for solving more complex and challenging math problems. We evaluate various ways of using GPT-4. Some of them are adapted from existing work, and one is \MathChat, a conversational problem-solving framework newly proposed in this work. We perform the evaluation on difficult high school competition problems from the MATH dataset, which shows the advantage of the proposed conversational approach.