Modelagem de Raciocínio Matemático Complexo via MathAgent Baseado em Modelo de Linguagem de Grande Escala

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Autores: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) enfrentam desafios ao resolver problemas matemáticos complexos que exigem capacidades abrangentes para analisar as afirmações, associar conhecimentos de domínio, realizar raciocínio lógico composto e integrar as racionalizações intermediárias. Abordar todos esses problemas de uma vez pode ser árduo para os LLMs, levando assim à confusão na geração. Neste trabalho, exploramos o potencial de aprimorar os LLMs com agentes por meio da decomposição meticulosa e modelagem do processo de raciocínio matemático. Especificamente, propomos uma descrição formal da resolução matemática e estendemos os LLMs com uma estrutura zero-shot baseada em agentes chamada Planejador-Raciocinador-Executor-Refletor (PRER). Além disso, fornecemos e implementamos dois MathAgents que definem as formas lógicas e relações inerentes por meio de um conjunto de ações em diferentes granularidades e orientações: o MathAgent-M adapta suas ações aos LLMs, enquanto o MathAgent-H se alinha com a humanidade. Experimentos no miniF2F e MATH demonstraram a eficácia do PRER e dos MathAgents propostos, alcançando um aumento de 12,3% (53,9%→66,2%) no miniF2F, 9,2% (49,8%→59,0%) no MATH e 13,2% (23,2%→35,4%) para problemas de nível 5 do MATH em comparação com o GPT-4. Resultados analíticos adicionais fornecem perspectivas mais profundas sobre a exploração dos comportamentos dos LLMs como agentes.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.