Modélisation du raisonnement mathématique complexe via MathAgent basé sur un modèle de langage de grande taille

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Auteurs: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Résumé

Les grands modèles de langage (LLMs) rencontrent des difficultés à résoudre des problèmes mathématiques complexes qui nécessitent des capacités étendues pour analyser les énoncés, associer des connaissances du domaine, effectuer un raisonnement logique composé et intégrer les justifications intermédiaires. Aborder tous ces problèmes simultanément peut s'avérer ardu pour les LLMs, entraînant ainsi une confusion dans la génération. Dans ce travail, nous explorons le potentiel d'amélioration des LLMs grâce à des agents par une décomposition minutieuse et une modélisation du processus de raisonnement mathématique. Plus précisément, nous proposons une description formelle de la résolution mathématique et étendons les LLMs avec un cadre zéro-shot basé sur des agents nommé Planner-Reasoner-Executor-Reflector (PRER). Nous fournissons et implémentons également deux MathAgents qui définissent les formes logiques et les relations intrinsèques via un ensemble d'actions à différents niveaux de granularité et orientations : MathAgent-M adapte ses actions aux LLMs, tandis que MathAgent-H s'aligne sur le raisonnement humain. Les expériences sur miniF2F et MATH ont démontré l'efficacité de PRER et des MathAgents proposés, avec une augmentation de 12,3 % (de 53,9 % à 66,2 %) sur miniF2F, de 9,2 % (de 49,8 % à 59,0 %) sur MATH, et de 13,2 % (de 23,2 % à 35,4 %) pour les problèmes de niveau 5 de MATH par rapport à GPT-4. Les résultats analytiques supplémentaires offrent des perspectives plus approfondies sur l'exploitation des comportements des LLMs en tant qu'agents.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.