Моделирование сложного математического рассуждения с использованием MathAgent на основе крупных языковых моделей

Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

December 14, 2023

Авторы: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

cs.AI

Аннотация

Крупные языковые модели (LLM) сталкиваются с трудностями при решении сложных математических задач, требующих комплексных способностей для анализа формулировок, ассоциации предметных знаний, выполнения сложных логических рассуждений и интеграции промежуточных выводов. Попытка решить все эти задачи одновременно может быть чрезмерно сложной для LLM, что приводит к путанице в генерации. В данной работе мы исследуем потенциал улучшения LLM с помощью агентов путем тщательной декомпозиции и моделирования процесса математического рассуждения. В частности, мы предлагаем формальное описание математического решения и расширяем LLM с помощью агентского zero-shot фреймворка под названием Planner-Reasoner-Executor-Reflector (PRER). Мы также разрабатываем и реализуем два MathAgent, которые определяют логические формы и внутренние связи через набор действий различной детализации и направленности: MathAgent-M адаптирует свои действия к LLM, а MathAgent-H ориентируется на человеческое мышление. Эксперименты на наборах данных miniF2F и MATH продемонстрировали эффективность PRER и предложенных MathAgent, показав увеличение на 12,3% (с 53,9% до 66,2%) на miniF2F, 9,2% (с 49,8% до 59,0%) на MATH и 13,2% (с 23,2% до 35,4%) для задач 5-го уровня MATH по сравнению с GPT-4. Дополнительные аналитические результаты предоставляют более глубокие перспективы для изучения поведения LLM в роли агентов.

English

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named Planner-Reasoner-Executor-Reflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of 12.3%(53.9%66.2%) on the MiniF2F, 9.2% (49.8%59.0%) on MATH, and 13.2%(23.2%35.4%) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.