OlaGPT: 人間のような問題解決能力をLLMに与える

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

May 23, 2023

著者: Yuanzhen Xie, Tao Xie, Mingxiong Lin, WenTao Wei, Chenglin Li, Beibei Kong, Lei Chen, Chengxiang Zhuo, Bo Hu, Zang Li

cs.AI

要旨

現在の研究の多くでは、大規模言語モデル（LLM）は特定のプロンプトの指導を通じて連鎖的思考（Chain of Thought, COT）を生成し、推論タスクを実行することが可能です。しかし、複雑な推論問題を解決する能力において、人間との間に依然として大きな隔たりが存在します。現在、ほとんどのアプローチは連鎖的思考（COT）とツールの使用に焦点を当てており、人間の認知フレームワークの採用と適用を考慮していません。複雑な推論課題に直面した際、人間は通常、さまざまな認知能力を活用し、ツール、知識、外部環境情報のすべての側面との相互作用を必要として、複雑なタスクを達成することが知られています。本論文では、OlaGPTと呼ばれる新しい知的フレームワークを紹介します。OlaGPTは認知アーキテクチャフレームワークを詳細に研究し、人間の認知の特定の側面をシミュレートすることを提案します。このフレームワークは、注意、記憶、推論、学習、および対応するスケジューリングと意思決定メカニズムを含む、異なる認知モジュールを近似することを含みます。人間の能動的学習メカニズムにインスパイアされ、過去のミスや専門家の意見を記録し、それらを動的に参照して類似の問題を解決する能力を強化する学習ユニットを提案します。本論文ではまた、人間の問題解決における一般的な有効な推論フレームワークを概説し、それに応じて連鎖的思考（COT）テンプレートを設計します。モデルの精度を最大化するための包括的な意思決定メカニズムも提案されています。OlaGPTの有効性は、複数の推論データセットで厳密に評価され、実験結果はOlaGPTが最先端のベンチマークを上回り、その優れた性能を示しています。OlaGPTの実装はGitHubで公開されています: https://github.com/oladata-team/OlaGPT。

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.