OlaGPT : Renforcer les capacités de résolution de problèmes des LLM pour les rapprocher de l'intelligence humaine

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Auteurs: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Résumé

Dans la plupart des recherches actuelles, les grands modèles de langage (LLMs) sont capables d'effectuer des tâches de raisonnement en générant des chaînes de pensée grâce à l'orientation de prompts spécifiques. Cependant, il existe toujours un écart significatif entre leur capacité à résoudre des problèmes de raisonnement complexes et celle des humains. À l'heure actuelle, la plupart des approches se concentrent sur les chaînes de pensée (COT) et l'utilisation d'outils, sans considérer l'adoption et l'application de cadres cognitifs humains. Il est bien connu que lorsqu'ils sont confrontés à des défis de raisonnement complexes, les humains emploient généralement diverses capacités cognitives et nécessitent une interaction avec tous les aspects des outils, des connaissances et des informations de l'environnement externe pour accomplir des tâches complexes. Cet article introduit un nouveau cadre intelligent, appelé OlaGPT. OlaGPT a soigneusement étudié un cadre d'architecture cognitive et propose de simuler certains aspects de la cognition humaine. Le cadre implique l'approximation de différents modules cognitifs, y compris l'attention, la mémoire, le raisonnement, l'apprentissage, ainsi que les mécanismes de planification et de prise de décision correspondants. Inspiré par le mécanisme d'apprentissage actif des êtres humains, il propose une unité d'apprentissage pour enregistrer les erreurs précédentes et les opinions d'experts, et s'y référer dynamiquement pour renforcer leur capacité à résoudre des problèmes similaires. L'article décrit également des cadres de raisonnement efficaces courants pour la résolution de problèmes humains et conçoit des modèles de chaînes de pensée (COT) en conséquence. Un mécanisme de prise de décision complet est également proposé pour maximiser la précision du modèle. L'efficacité d'OlaGPT a été rigoureusement évaluée sur plusieurs ensembles de données de raisonnement, et les résultats expérimentaux révèlent qu'OlaGPT surpasse les références de pointe, démontrant ainsi sa performance supérieure. Notre implémentation d'OlaGPT est disponible sur GitHub : https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.