Eine empirische Studie zur Lösung anspruchsvoller mathematischer Probleme mit GPT-4
An Empirical Study on Challenging Math Problem Solving with GPT-4
June 2, 2023
Autoren: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang
cs.AI
Zusammenfassung
Der Einsatz von Large Language Models (LLMs) zur Lösung mathematischer Probleme stellt ein faszinierendes Forschungsvorhaben dar, insbesondere angesichts der Fülle von mathematischen Fragestellungen, die in natürlicher Sprache in zahlreichen Wissenschafts- und Ingenieursdisziplinen formuliert werden. Während mehrere frühere Arbeiten die Lösung elementarer Mathematik mithilfe von LLMs untersucht haben, erkundet diese Arbeit die Grenzen der Anwendung von GPT-4 zur Lösung komplexerer und anspruchsvollerer mathematischer Probleme. Wir evaluieren verschiedene Ansätze zur Nutzung von GPT-4. Einige davon sind aus bestehenden Arbeiten adaptiert, und einer davon ist \MathChat, ein in dieser Arbeit neu vorgeschlagenes konversationelles Problemlösungsframework. Die Evaluation erfolgt anhand schwieriger Wettbewerbsaufgaben aus dem MATH-Datensatz, die den Vorteil des vorgeschlagenen konversationellen Ansatzes verdeutlichen.
English
Employing Large Language Models (LLMs) to address mathematical problems is an
intriguing research endeavor, considering the abundance of math problems
expressed in natural language across numerous science and engineering fields.
While several prior works have investigated solving elementary mathematics
using LLMs, this work explores the frontier of using GPT-4 for solving more
complex and challenging math problems. We evaluate various ways of using GPT-4.
Some of them are adapted from existing work, and one is \MathChat, a
conversational problem-solving framework newly proposed in this work. We
perform the evaluation on difficult high school competition problems from the
MATH dataset, which shows the advantage of the proposed conversational
approach.