Pangu-Agent: 構造化推論を備えた微調整可能な汎用エージェント

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

December 22, 2023

著者: Filippos Christianos, Georgios Papoudakis, Matthieu Zimmer, Thomas Coste, Zhihao Wu, Jingxuan Chen, Khyati Khandelwal, James Doran, Xidong Feng, Jiacheng Liu, Zheng Xiong, Yicheng Luo, Jianye Hao, Kun Shao, Haitham Bou-Ammar, Jun Wang

cs.AI

要旨

人工知能（AI）エージェントを作成するための主要な方法として、強化学習（RL）が挙げられます。しかし、知覚を直接行動にマッピングするスタンドアロンのRLポリシーを構築することは、複数のタスクにわたる汎用性の欠如や、大量の訓練データの必要性など、深刻な問題に直面します。その主な原因は、ポリシーを考案する際に、知覚-行動サイクルに事前情報を効果的に統合できないことにあります。大規模言語モデル（LLM）は、AIエージェントにクロスドメインの知識を組み込む基本的な方法として登場しましたが、特定の意思決定問題に対する学習と適応が欠けています。本論文では、AIエージェントのポリシーに構造化された推論を統合し学習するための一般的なフレームワークモデルを提示します。私たちの方法論は、人間の脳に見られるモジュール性に基づいています。このフレームワークは、内在的および外在的関数の構築を利用して、推論構造に関する事前の理解を追加します。また、認知プロセスのモジュール構造と一致するように、各モジュールまたは関数内でモデルを学習する適応能力を提供します。私たちはこのフレームワークを詳細に説明し、他のAIパイプラインや既存のフレームワークと比較します。本論文では、私たちの方法の有効性を示す実験を含む実用的な応用について探求します。私たちの結果は、組織化された推論と事前知識が組み込まれた場合、AIエージェントがより優れたパフォーマンスと適応能力を発揮することを示しています。これにより、より強靭で汎用的なAIエージェントシステムへの道が開かれます。

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.