OlaGPT: Наделение крупных языковых моделей способностями к решению задач, подобными человеческим

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Авторы: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Аннотация

В большинстве современных исследований большие языковые модели (LLM) способны выполнять задачи рассуждения, генерируя цепочки мыслей под руководством специфических промптов. Однако всё ещё существует значительный разрыв между их способностью решать сложные задачи рассуждения и аналогичной способностью человека. В настоящее время большинство подходов сосредоточено на цепочках мыслей (COT) и использовании инструментов, не учитывая применение человеческих когнитивных структур. Известно, что при столкновении со сложными задачами рассуждения люди обычно задействуют различные когнитивные способности и взаимодействуют с инструментами, знаниями и информацией из внешней среды для выполнения сложных задач. В данной статье представлена новая интеллектуальная структура, названная OlaGPT. OlaGPT тщательно изучила когнитивную архитектуру и предлагает моделировать определённые аспекты человеческого познания. Эта структура включает аппроксимацию различных когнитивных модулей, таких как внимание, память, рассуждение, обучение, а также соответствующие механизмы планирования и принятия решений. Вдохновлённая активным механизмом обучения человека, она предлагает учебный модуль для записи предыдущих ошибок и экспертных мнений, а также динамического обращения к ним для усиления способности решать аналогичные задачи. В статье также описаны распространённые эффективные структуры рассуждения, используемые человеком для решения задач, и разработаны соответствующие шаблоны цепочек мыслей (COT). Предложен комплексный механизм принятия решений для максимизации точности модели. Эффективность OlaGPT была строго оценена на нескольких наборах данных для рассуждения, и результаты экспериментов показывают, что OlaGPT превосходит современные эталоны, демонстрируя превосходную производительность. Наша реализация OlaGPT доступна на GitHub: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.