L'apprendimento simbolico abilita agenti auto-evolutivi.

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Autori: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Abstract

La comunità dell'IA ha esplorato un percorso verso l'intelligenza artificiale generale (AGI) sviluppando "agenti linguistici", ovvero complesse pipeline di modelli linguistici di grandi dimensioni (LLM) che coinvolgono sia tecniche di prompting che metodi di utilizzo di strumenti. Sebbene gli agenti linguistici abbiano dimostrato capacità impressionanti in molti compiti del mondo reale, una limitazione fondamentale della ricerca attuale sugli agenti linguistici è che sono centrati sul modello o sull'ingegneria. Ciò significa che i progressi nei prompt, negli strumenti e nelle pipeline degli agenti linguistici richiedono notevoli sforzi di ingegneria manuale da parte di esperti umani, piuttosto che un apprendimento automatico dai dati. Crediamo che la transizione da un approccio centrato sul modello o sull'ingegneria a uno centrato sui dati, ovvero la capacità degli agenti linguistici di apprendere ed evolversi autonomamente negli ambienti, sia la chiave per raggiungere potenzialmente l'AGI. In questo lavoro, introduciamo l'apprendimento simbolico degli agenti, un framework sistematico che consente agli agenti linguistici di ottimizzarsi autonomamente in modo centrato sui dati utilizzando ottimizzatori simbolici. Nello specifico, consideriamo gli agenti come reti simboliche in cui i pesi apprendibili sono definiti dai prompt, dagli strumenti e dal modo in cui sono combinati. L'apprendimento simbolico degli agenti è progettato per ottimizzare la rete simbolica all'interno degli agenti linguistici imitando due algoritmi fondamentali dell'apprendimento connessionista: la retropropagazione e la discesa del gradiente. Invece di gestire pesi numerici, l'apprendimento simbolico degli agenti lavora con simulacri in linguaggio naturale di pesi, perdita e gradienti. Condividiamo esperimenti di proof-of-concept su benchmark standard e compiti complessi del mondo reale, dimostrando che l'apprendimento simbolico degli agenti consente agli agenti linguistici di aggiornarsi dopo essere stati creati e distribuiti in ambienti reali, dando vita a "agenti auto-evolutivi".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".