Symbolisch leren maakt zelfontwikkelende agents mogelijk.

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Auteurs: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Samenvatting

De AI-gemeenschap heeft een pad verkend naar kunstmatige algemene intelligentie (AGI) door het ontwikkelen van "taalagenten", wat complexe pijplijnen van grote taalmodelen (LLMs) omvat die zowel promptingtechnieken als toolgebruiksmethoden integreren. Hoewel taalagenten indrukwekkende capaciteiten hebben getoond voor veel real-world taken, is een fundamentele beperking van het huidige onderzoek naar taalagenten dat het modelgericht of technisch gericht is. Dat wil zeggen, de vooruitgang op het gebied van prompts, tools en pijplijnen van taalagenten vereist aanzienlijke handmatige technische inspanningen van menselijke experts in plaats van automatisch te leren van data. Wij geloven dat de overgang van modelgericht of technisch gericht naar datagericht, d.w.z. het vermogen van taalagenten om autonoom te leren en zich te ontwikkelen in omgevingen, de sleutel is voor hen om mogelijk AGI te bereiken. In dit werk introduceren we symbolisch leren voor agenten, een systematisch raamwerk dat taalagenten in staat stelt om zichzelf op een datagerichte manier te optimaliseren met behulp van symbolische optimalisatoren. Specifiek beschouwen we agenten als symbolische netwerken waarbij leerbare gewichten worden gedefinieerd door prompts, tools en de manier waarop ze worden gestapeld. Symbolisch leren voor agenten is ontworpen om het symbolische netwerk binnen taalagenten te optimaliseren door twee fundamentele algoritmen uit connectionistisch leren na te bootsen: backpropagatie en gradient descent. In plaats van te werken met numerieke gewichten, werkt symbolisch leren voor agenten met natuurlijke taal-simulacra van gewichten, verlies en gradients. We voeren proof-of-concept experimenten uit op zowel standaard benchmarks als complexe real-world taken en tonen aan dat symbolisch leren voor agenten taalagenten in staat stelt om zichzelf bij te werken nadat ze zijn gecreëerd en ingezet in de praktijk, wat resulteert in "zelf-evoluerende agenten".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".