OlaGPT: Het uitrusten van LLM's met mensachtige probleemoplossende vaardigheden

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Auteurs: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Samenvatting

In het meeste huidige onderzoek zijn grote taalmmodellen (LLMs) in staat om redeneertaken uit te voeren door middel van het genereren van gedachtegangen onder begeleiding van specifieke prompts. Er bestaat echter nog steeds een aanzienlijk verschil tussen hun vermogen om complexe redeneerproblemen op te lossen en dat van mensen. Op dit moment richten de meeste benaderingen zich op gedachtegangen (COT) en het gebruik van tools, zonder rekening te houden met de adoptie en toepassing van menselijke cognitieve frameworks. Het is bekend dat mensen bij het confronteren van complexe redeneeruitdagingen doorgaans verschillende cognitieve vaardigheden inzetten, en interactie nodig hebben met alle aspecten van tools, kennis en informatie uit de externe omgeving om ingewikkelde taken te voltooien. Dit artikel introduceert een nieuw intelligent framework, genaamd OlaGPT. OlaGPT heeft een cognitief architectuurframework bestudeerd en stelt voor om bepaalde aspecten van menselijke cognitie te simuleren. Het framework omvat het benaderen van verschillende cognitieve modules, waaronder aandacht, geheugen, redeneren, leren, en bijbehorende plannings- en besluitvormingsmechanismen. Geïnspireerd door het actieve leermechanisme van mensen, stelt het een leereenheid voor om eerdere fouten en expertopinies vast te leggen, en hier dynamisch naar te verwijzen om het vermogen om vergelijkbare problemen op te lossen te versterken. Het artikel schetst ook veelvoorkomende effectieve redeneerframeworks voor menselijke probleemoplossing en ontwerpt Chain-of-Thought (COT) templates dienovereenkomstig. Een uitgebreid besluitvormingsmechanisme wordt eveneens voorgesteld om de nauwkeurigheid van het model te maximaliseren. De effectiviteit van OlaGPT is strikt geëvalueerd op meerdere redeneerdatasets, en de experimentele resultaten tonen aan dat OlaGPT state-of-the-art benchmarks overtreft, wat zijn superieure prestaties aantoont. Onze implementatie van OlaGPT is beschikbaar op GitHub: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.