OlaGPT: Potenciando los LLM con capacidades de resolución de problemas similares a las humanas

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Autores: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Resumen

En la mayoría de las investigaciones actuales, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) son capaces de realizar tareas de razonamiento generando cadenas de pensamiento mediante la guía de indicaciones específicas. Sin embargo, aún existe una discrepancia significativa entre su capacidad para resolver problemas de razonamiento complejos y la de los seres humanos. En la actualidad, la mayoría de los enfoques se centran en las cadenas de pensamiento (COT, por sus siglas en inglés) y el uso de herramientas, sin considerar la adopción y aplicación de marcos cognitivos humanos. Es bien sabido que, al enfrentarse a desafíos de razonamiento complejos, los humanos suelen emplear diversas habilidades cognitivas y necesitan interactuar con todos los aspectos de las herramientas, el conocimiento y la información del entorno externo para realizar tareas intrincadas. Este artículo introduce un novedoso marco inteligente, denominado OlaGPT. OlaGPT estudió detenidamente un marco de arquitectura cognitiva y propone simular ciertos aspectos de la cognición humana. El marco implica la aproximación de diferentes módulos cognitivos, incluyendo la atención, la memoria, el razonamiento, el aprendizaje y los mecanismos correspondientes de planificación y toma de decisiones. Inspirado por el mecanismo de aprendizaje activo de los seres humanos, propone una unidad de aprendizaje para registrar errores previos y opiniones de expertos, y consultarlos dinámicamente para fortalecer su capacidad de resolver problemas similares. El artículo también describe marcos de razonamiento efectivos comunes para la resolución de problemas humanos y diseña plantillas de Cadenas de Pensamiento (COT) en consecuencia. Además, se propone un mecanismo integral de toma de decisiones para maximizar la precisión del modelo. La eficacia de OlaGPT ha sido evaluada rigurosamente en múltiples conjuntos de datos de razonamiento, y los resultados experimentales revelan que OlaGPT supera los puntos de referencia más avanzados, demostrando su rendimiento superior. Nuestra implementación de OlaGPT está disponible en GitHub: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.