Complexe wiskundige redenering modelleren via een op grote taalmodellen gebaseerde MathAgent

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Auteurs: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Samenvatting

Grote taalmodellen (LLMs) staan voor uitdagingen bij het oplossen van complexe wiskundige problemen die uitgebreide capaciteiten vereisen om de uitspraken te ontleden, domeinkennis te associëren, samengesteld logisch redeneren uit te voeren en de tussenliggende redeneringen te integreren. Het in één keer aanpakken van al deze problemen kan voor LLMs zwaar zijn, wat kan leiden tot verwarring tijdens het genereren. In dit werk onderzoeken we het potentieel van het versterken van LLMs met agents door een zorgvuldige decompositie en modellering van het wiskundige redeneerproces. Specifiek stellen we een formele beschrijving voor van het wiskundige oplossen en breiden we LLMs uit met een agent-gebaseerd zero-shot framework genaamd Planner-Reasoner-Executor-Reflector (PRER). We bieden en implementeren verder twee MathAgents die de logische vormen en inherente relaties definiëren via een pool van acties in verschillende granulariteiten en oriëntaties: MathAgent-M past zijn acties aan aan LLMs, terwijl MathAgent-H aansluit bij de mensheid. Experimenten op miniF2F en MATH hebben de effectiviteit van PRER en de voorgestelde MathAgents aangetoond, met een stijging van 12,3% (53,9% naar 66,2%) op MiniF2F, 9,2% (49,8% naar 59,0%) op MATH, en 13,2% (23,2% naar 35,4%) voor niveau-5 problemen van MATH tegenover GPT-4. Verdere analytische resultaten bieden meer inzichtelijke perspectieven op het benutten van het gedrag van LLMs als agents.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.