OlaGPT: Potenziare i LLM con Capacità di Problem-Solving Simili a Quelle Umane

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Autori: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Abstract

Nella maggior parte delle ricerche attuali, i grandi modelli linguistici (LLM) sono in grado di svolgere compiti di ragionamento generando catene di pensiero attraverso la guida di prompt specifici. Tuttavia, esiste ancora un divario significativo tra la loro capacità di risolvere problemi di ragionamento complessi e quella degli esseri umani. Attualmente, la maggior parte degli approcci si concentra sulle catene di pensiero (COT) e sull'uso di strumenti, senza considerare l'adozione e l'applicazione di framework cognitivi umani. È ben noto che, di fronte a sfide di ragionamento complesse, gli esseri umani tipicamente impiegano varie abilità cognitive e necessitano di interagire con tutti gli aspetti degli strumenti, della conoscenza e delle informazioni dell'ambiente esterno per portare a termine compiti intricati. Questo articolo introduce un nuovo framework intelligente, denominato OlaGPT. OlaGPT ha studiato attentamente un framework di architettura cognitiva e propone di simulare alcuni aspetti della cognizione umana. Il framework prevede l'approssimazione di diversi moduli cognitivi, tra cui attenzione, memoria, ragionamento, apprendimento e i corrispondenti meccanismi di pianificazione e decisione. Ispirato dal meccanismo di apprendimento attivo degli esseri umani, propone un'unità di apprendimento per registrare errori precedenti e opinioni di esperti, e di farvi riferimento dinamicamente per rafforzare la capacità di risolvere problemi simili. L'articolo delinea inoltre framework di ragionamento efficaci comuni per la risoluzione di problemi umani e progetta modelli di Chain-of-Thought (COT) di conseguenza. Viene anche proposto un meccanismo decisionale completo per massimizzare l'accuratezza del modello. L'efficacia di OlaGPT è stata rigorosamente valutata su più dataset di ragionamento, e i risultati sperimentali rivelano che OlaGPT supera i benchmark più avanzati, dimostrando una performance superiore. La nostra implementazione di OlaGPT è disponibile su GitHub: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.