El Aprendizaje Simbólico Permite Agentes de Auto-evolución

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Autores: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Resumen

La comunidad de IA ha estado explorando un camino hacia la inteligencia artificial general (IAG) mediante el desarrollo de "agentes de lenguaje", que son pipelines complejos de modelos de lenguaje grandes (LLMs) que involucran tanto técnicas de prompting como métodos de uso de herramientas. Si bien los agentes de lenguaje han demostrado capacidades impresionantes para muchas tareas del mundo real, una limitación fundamental de la investigación actual sobre estos agentes es que son centrados en el modelo o en la ingeniería. Es decir, el progreso en los prompts, herramientas y pipelines de los agentes de lenguaje requiere un esfuerzo de ingeniería manual sustancial por parte de expertos humanos, en lugar de aprender automáticamente de los datos. Creemos que la transición de un enfoque centrado en el modelo o en la ingeniería a uno centrado en los datos, es decir, la capacidad de los agentes de lenguaje para aprender y evolucionar de manera autónoma en entornos, es clave para que posiblemente alcancen la IAG. En este trabajo, presentamos el aprendizaje simbólico de agentes, un marco sistemático que permite a los agentes de lenguaje optimizarse por sí mismos de manera centrada en los datos utilizando optimizadores simbólicos. Específicamente, consideramos a los agentes como redes simbólicas donde los pesos aprendibles están definidos por los prompts, las herramientas y la forma en que se apilan juntos. El aprendizaje simbólico de agentes está diseñado para optimizar la red simbólica dentro de los agentes de lenguaje imitando dos algoritmos fundamentales en el aprendizaje conexionista: la retropropagación y el descenso de gradiente. En lugar de trabajar con pesos numéricos, el aprendizaje simbólico de agentes opera con simulacros en lenguaje natural de pesos, pérdidas y gradientes. Realizamos experimentos de prueba de concepto tanto en benchmarks estándar como en tareas complejas del mundo real y demostramos que el aprendizaje simbólico de agentes permite que los agentes de lenguaje se actualicen después de ser creados y desplegados en entornos reales, resultando en "agentes auto-evolutivos".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".