Modellierung komplexer mathematischer Argumentation durch MathAgent basierend auf großen Sprachmodellen

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Autoren: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) stehen vor Herausforderungen bei der Lösung komplexer mathematischer Probleme, die umfassende Fähigkeiten erfordern, um die Aussagen zu analysieren, Domänenwissen zu assoziieren, zusammengesetzte logische Schlussfolgerungen durchzuführen und die Zwischenrationale zu integrieren. Die gleichzeitige Bewältigung all dieser Probleme kann für LLMs mühsam sein und somit zu Verwirrung bei der Generierung führen. In dieser Arbeit untersuchen wir das Potenzial, LLMs durch Agenten zu verbessern, indem wir den mathematischen Denkprozess sorgfältig zerlegen und modellieren. Konkret schlagen wir eine formale Beschreibung der mathematischen Problemlösung vor und erweitern LLMs mit einem agentenbasierten Zero-Shot-Framework namens Planner-Reasoner-Executor-Reflector (PRER). Darüber hinaus stellen wir zwei MathAgents bereit und implementieren sie, die die logischen Formen und inhärenten Beziehungen über einen Pool von Aktionen in verschiedenen Granularitäten und Ausrichtungen definieren: MathAgent-M passt seine Aktionen an LLMs an, während MathAgent-H sich an der menschlichen Denkweise orientiert. Experimente auf miniF2F und MATH haben die Wirksamkeit von PRER und den vorgeschlagenen MathAgents demonstriert, mit einer Steigerung von 12,3 % (53,9 % auf 66,2 %) auf MiniF2F, 9,2 % (49,8 % auf 59,0 %) auf MATH und 13,2 % (23,2 % auf 35,4 %) für Level-5-Probleme von MATH im Vergleich zu GPT-4. Weitere analytische Ergebnisse bieten tiefere Einblicke in die Nutzung des Verhaltens von LLMs als Agenten.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.