シンボリック学習は自己進化型エージェントを可能にする

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

著者: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

要旨

AIコミュニティは、プロンプト技術とツール使用法を組み合わせた複雑な大規模言語モデル（LLM）パイプラインである「言語エージェント」を開発することで、人工汎用知能（AGI）への道を探求してきました。言語エージェントは多くの現実世界のタスクで印象的な能力を発揮していますが、現在の言語エージェント研究の根本的な限界は、それがモデル中心、またはエンジニアリング中心であることです。つまり、言語エージェントのプロンプト、ツール、パイプラインの進展には、データから自動的に学習するのではなく、人間の専門家による多大な手作業のエンジニアリング努力が必要です。私たちは、モデル中心またはエンジニアリング中心からデータ中心への移行、すなわち言語エージェントが環境内で自律的に学習し進化する能力こそが、彼らがAGIを達成するための鍵であると考えています。 本論文では、シンボリックオプティマイザを使用して言語エージェントがデータ中心の方法で自己最適化を行うことを可能にする体系的なフレームワークである「エージェントシンボリック学習」を紹介します。具体的には、エージェントをプロンプト、ツール、およびそれらが組み合わされる方法によって定義される学習可能な重みを持つシンボリックネットワークと見なします。エージェントシンボリック学習は、接続主義学習における2つの基本的なアルゴリズムであるバックプロパゲーションと勾配降下法を模倣することで、言語エージェント内のシンボリックネットワークを最適化するように設計されています。数値的な重みではなく、エージェントシンボリック学習は重み、損失、勾配の自然言語シミュラクラムを扱います。標準的なベンチマークと複雑な現実世界のタスクの両方で概念実証実験を行い、エージェントシンボリック学習が言語エージェントを作成および展開後に自己更新を行い、「自己進化するエージェント」を実現することを示します。

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".