Une étude empirique sur la résolution de problèmes mathématiques complexes avec GPT-4

An Empirical Study on Challenging Math Problem Solving with GPT-4

June 2, 2023

Auteurs: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang

cs.AI

Résumé

L'utilisation de grands modèles de langage (LLM) pour résoudre des problèmes mathématiques constitue une piste de recherche fascinante, compte tenu de la multitude de problèmes mathématiques exprimés en langage naturel dans divers domaines scientifiques et techniques. Bien que plusieurs travaux antérieurs aient exploré la résolution de mathématiques élémentaires à l'aide de LLM, cette étude se penche sur l'utilisation de GPT-4 pour aborder des problèmes mathématiques plus complexes et exigeants. Nous évaluons différentes méthodes d'utilisation de GPT-4. Certaines sont adaptées de travaux existants, et l'une d'elles est \MathChat, un cadre de résolution de problèmes conversationnel nouvellement proposé dans cette étude. L'évaluation est réalisée sur des problèmes difficiles issus de compétitions de niveau lycée provenant du jeu de données MATH, démontrant l'avantage de l'approche conversationnelle proposée.

English

Employing Large Language Models (LLMs) to address mathematical problems is an intriguing research endeavor, considering the abundance of math problems expressed in natural language across numerous science and engineering fields. While several prior works have investigated solving elementary mathematics using LLMs, this work explores the frontier of using GPT-4 for solving more complex and challenging math problems. We evaluate various ways of using GPT-4. Some of them are adapted from existing work, and one is \MathChat, a conversational problem-solving framework newly proposed in this work. We perform the evaluation on difficult high school competition problems from the MATH dataset, which shows the advantage of the proposed conversational approach.