Symbolisches Lernen ermöglicht selbst-evolvierenden Agenten.

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Autoren: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Zusammenfassung

Die KI-Community erforscht einen Weg zur künstlichen allgemeinen Intelligenz (AGI), indem sie "Sprachagenten" entwickelt, die komplexe große Sprachmodelle (LLMs) umfassen, die sowohl Prompting-Techniken als auch Werkzeugnutzungsmethoden einbeziehen. Während Sprachagenten beeindruckende Fähigkeiten für viele reale Aufgaben gezeigt haben, ist eine grundlegende Einschränkung der aktuellen Forschung zu Sprachagenten, dass sie modellzentriert oder ingenieurszentriert sind. Das bedeutet, dass der Fortschritt bei den Prompts, Werkzeugen und Pipelines von Sprachagenten erhebliche manuelle Ingenieursbemühungen von menschlichen Experten erfordert, anstatt automatisch aus Daten zu lernen. Wir glauben, dass der Übergang von modellzentriert oder ingenieurszentriert zu datenzentriert, d.h. die Fähigkeit von Sprachagenten, autonom in Umgebungen zu lernen und sich weiterzuentwickeln, der Schlüssel für sie ist, möglicherweise AGI zu erreichen. In dieser Arbeit stellen wir das agentenbasierte symbolische Lernen vor, ein systematisches Framework, das es Sprachagenten ermöglicht, sich auf datenzentrierte Weise mithilfe symbolischer Optimierer selbst zu optimieren. Konkret betrachten wir Agenten als symbolische Netzwerke, bei denen lernbare Gewichte durch Prompts, Werkzeuge und die Art und Weise definiert sind, wie sie zusammengefügt werden. Das agentenbasierte symbolische Lernen ist darauf ausgelegt, das symbolische Netzwerk innerhalb von Sprachagenten zu optimieren, indem es zwei grundlegende Algorithmen im Verbindungslernen imitiert: Rückpropagierung und Gradientenabstieg. Anstatt mit numerischen Gewichten umzugehen, arbeitet das agentenbasierte symbolische Lernen mit natürlichsprachlichen Simulakren von Gewichten, Verlusten und Gradienten. Wir führen Proof-of-Concept-Experimente sowohl an Standard-Benchmarks als auch an komplexen realen Aufgaben durch und zeigen, dass das agentenbasierte symbolische Lernen es Sprachagenten ermöglicht, sich nach ihrer Erstellung und Bereitstellung in der Wildnis zu aktualisieren, was zu "selbstentwickelnden Agenten" führt.

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".