Modelización del Razonamiento Matemático Complejo mediante MathAgent basado en Modelos de Lenguaje de Gran Escala

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Autores: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) enfrentan desafíos al resolver problemas matemáticos complejos que requieren capacidades integrales para analizar los enunciados, asociar conocimientos del dominio, realizar razonamientos lógicos compuestos e integrar las racionalidades intermedias. Abordar todos estos problemas de una vez puede ser arduo para los LLMs, lo que lleva a confusiones en la generación. En este trabajo, exploramos el potencial de mejorar los LLMs mediante agentes a través de una descomposición y modelado meticuloso del proceso de razonamiento matemático. Específicamente, proponemos una descripción formal de la resolución matemática y extendemos los LLMs con un marco de trabajo de cero disparos basado en agentes llamado Planner-Reasoner-Executor-Reflector (PRER). Además, proporcionamos e implementamos dos MathAgents que definen las formas lógicas y las relaciones inherentes a través de un conjunto de acciones en diferentes niveles y orientaciones: MathAgent-M adapta sus acciones a los LLMs, mientras que MathAgent-H se alinea con la humanidad. Los experimentos en miniF2F y MATH han demostrado la efectividad de PRER y los MathAgents propuestos, logrando un aumento del 12.3% (53.9% a 66.2%) en miniF2F, 9.2% (49.8% a 59.0%) en MATH, y 13.2% (23.2% a 35.4%) para problemas de nivel 5 de MATH en comparación con GPT-4. Los resultados analíticos adicionales proporcionan perspectivas más profundas sobre la explotación de los comportamientos de los LLMs como agentes.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.