L'apprentissage symbolique permet aux agents d'évoluer de manière autonome.

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Auteurs: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Résumé

La communauté de l'IA explore une voie vers l'intelligence artificielle générale (IAG) en développant des "agents linguistiques", qui sont des pipelines complexes de grands modèles de langage (LLMs) impliquant à la fois des techniques de prompting et des méthodes d'utilisation d'outils. Bien que les agents linguistiques aient démontré des capacités impressionnantes pour de nombreuses tâches du monde réel, une limitation fondamentale de la recherche actuelle sur ces agents est qu'elle est centrée sur le modèle ou sur l'ingénierie. Autrement dit, les progrès en matière de prompts, d'outils et de pipelines pour les agents linguistiques nécessitent des efforts d'ingénierie manuels substantiels de la part d'experts humains plutôt qu'un apprentissage automatique à partir des données. Nous pensons que la transition d'une approche centrée sur le modèle ou sur l'ingénierie vers une approche centrée sur les données, c'est-à-dire la capacité des agents linguistiques à apprendre et à évoluer de manière autonome dans des environnements, est la clé pour qu'ils puissent potentiellement atteindre l'IAG. Dans ce travail, nous introduisons l'apprentissage symbolique des agents, un cadre systématique qui permet aux agents linguistiques de s'optimiser eux-mêmes de manière centrée sur les données en utilisant des optimiseurs symboliques. Plus précisément, nous considérons les agents comme des réseaux symboliques où les poids apprenables sont définis par les prompts, les outils et la manière dont ils sont empilés ensemble. L'apprentissage symbolique des agents est conçu pour optimiser le réseau symbolique au sein des agents linguistiques en imitant deux algorithmes fondamentaux de l'apprentissage connexionniste : la rétropropagation et la descente de gradient. Au lieu de traiter des poids numériques, l'apprentissage symbolique des agents travaille avec des simulacres en langage naturel des poids, de la perte et des gradients. Nous menons des expériences de preuve de concept sur des benchmarks standards et des tâches complexes du monde réel, et montrons que l'apprentissage symbolique des agents permet à ces agents de se mettre à jour après avoir été créés et déployés dans la nature, donnant ainsi naissance à des "agents auto-évolutifs".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".