GPT-4を用いた難解な数学問題解決に関する実証的研究

An Empirical Study on Challenging Math Problem Solving with GPT-4

June 2, 2023

著者: Yiran Wu, Feiran Jia, Shaokun Zhang, Qingyun Wu, Hangyu Li, Erkang Zhu, Yue Wang, Yin Tat Lee, Richard Peng, Chi Wang

cs.AI

要旨

大規模言語モデル（LLM）を数学的問題の解決に活用することは、自然科学や工学の幅広い分野において自然言語で表現された数学的問題が豊富に存在することを考慮すると、非常に興味深い研究テーマです。これまでの研究では、LLMを用いた初等数学の解法がいくつか検討されてきましたが、本研究ではGPT-4を活用してより複雑で難易度の高い数学的問題を解くという新たな領域を探求します。我々はGPT-4の様々な活用方法を評価し、その中には既存の研究から適応したものもあれば、本研究で新たに提案した対話型問題解決フレームワークである\MathChatも含まれます。評価はMATHデータセットの難易度の高い高校数学コンテスト問題を用いて行われ、提案された対話型アプローチの優位性が示されました。

English

Employing Large Language Models (LLMs) to address mathematical problems is an intriguing research endeavor, considering the abundance of math problems expressed in natural language across numerous science and engineering fields. While several prior works have investigated solving elementary mathematics using LLMs, this work explores the frontier of using GPT-4 for solving more complex and challenging math problems. We evaluate various ways of using GPT-4. Some of them are adapted from existing work, and one is \MathChat, a conversational problem-solving framework newly proposed in this work. We perform the evaluation on difficult high school competition problems from the MATH dataset, which shows the advantage of the proposed conversational approach.