OlaGPT: Stärkung von LLMs mit menschenähnlichen Problemlösungsfähigkeiten

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

Autoren: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

Zusammenfassung

In der aktuellen Forschung sind große Sprachmodelle (LLMs) in der Lage, Denkaufgaben zu bewältigen, indem sie Gedankenketten durch spezifische Prompts generieren. Dennoch besteht eine erhebliche Diskrepanz zwischen ihrer Fähigkeit, komplexe Denkprobleme zu lösen, und der des Menschen. Derzeit konzentrieren sich die meisten Ansätze auf Gedankenketten (COT) und den Einsatz von Werkzeugen, ohne die Übernahme und Anwendung menschlicher kognitiver Rahmenbedingungen zu berücksichtigen. Es ist bekannt, dass Menschen bei der Bewältigung komplexer Denkherausforderungen typischerweise verschiedene kognitive Fähigkeiten einsetzen und die Interaktion mit allen Aspekten von Werkzeugen, Wissen und externen Umgebungsinformationen benötigen, um anspruchsvolle Aufgaben zu bewältigen. Dieses Papier stellt ein neuartiges intelligentes Framework vor, das als OlaGPT bezeichnet wird. OlaGPT hat ein kognitives Architekturframework sorgfältig untersucht und schlägt vor, bestimmte Aspekte der menschlichen Kognition zu simulieren. Das Framework beinhaltet die Annäherung an verschiedene kognitive Module, einschließlich Aufmerksamkeit, Gedächtnis, Denken, Lernen sowie entsprechende Planungs- und Entscheidungsmechanismen. Inspiriert vom aktiven Lernmechanismus des Menschen wird eine Lerneinheit vorgeschlagen, die frühere Fehler und Expertenmeinungen aufzeichnet und dynamisch darauf verweist, um die Fähigkeit zur Lösung ähnlicher Probleme zu stärken. Das Papier skizziert auch gängige effektive Denkrahmen für die menschliche Problemlösung und entwirft entsprechend Chain-of-Thought (COT)-Vorlagen. Ein umfassender Entscheidungsmechanismus wird ebenfalls vorgeschlagen, um die Modellgenauigkeit zu maximieren. Die Wirksamkeit von OlaGPT wurde auf mehreren Denkdatensätzen streng bewertet, und die experimentellen Ergebnisse zeigen, dass OlaGPT die aktuellen Benchmarks übertrifft und seine überlegene Leistung unter Beweis stellt. Unsere Implementierung von OlaGPT ist auf GitHub verfügbar: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.