Modellazione del Ragionamento Matematico Complesso tramite MathAgent basato su Modelli Linguistici di Grande Scala

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Autori: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) affrontano sfide nel risolvere problemi matematici complessi che richiedono capacità complete per analizzare le affermazioni, associare conoscenze di dominio, eseguire ragionamenti logici composti e integrare le motivazioni intermedie. Affrontare tutti questi problemi contemporaneamente potrebbe essere arduo per gli LLM, portando così a confusione nella generazione. In questo lavoro, esploriamo il potenziale di migliorare gli LLM con agenti attraverso una scomposizione e modellazione meticolosa del processo di ragionamento matematico. Nello specifico, proponiamo una descrizione formale della risoluzione matematica e estendiamo gli LLM con un framework zero-shot basato su agenti denominato Planner-Reasoner-Executor-Reflector (PRER). Inoltre, forniamo e implementiamo due MathAgents che definiscono le forme logiche e le relazioni intrinseche attraverso un insieme di azioni a diversi livelli di granularità e orientamenti: MathAgent-M adatta le sue azioni agli LLM, mentre MathAgent-H si allinea con il modo di ragionare umano. Gli esperimenti su miniF2F e MATH hanno dimostrato l'efficacia di PRER e dei MathAgents proposti, ottenendo un aumento del 12,3% (da 53,9% a 66,2%) su miniF2F, del 9,2% (da 49,8% a 59,0%) su MATH e del 13,2% (da 23,2% a 35,4%) per i problemi di livello 5 di MATH rispetto a GPT-4. Ulteriori risultati analitici forniscono prospettive più approfondite sullo sfruttamento dei comportamenti degli LLM come agenti.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.