Aprendizagem Simbólica Permite Agentes Autoevolutivos

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Autores: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Resumo

A comunidade de IA tem explorado um caminho em direção à inteligência artificial geral (IAG) desenvolvendo "agentes de linguagem", que são complexos e extensos modelos de linguagem (MLs) envolvendo tanto técnicas de estímulo quanto métodos de uso de ferramentas. Embora os agentes de linguagem tenham demonstrado capacidades impressionantes para muitas tarefas do mundo real, uma limitação fundamental da pesquisa atual em agentes de linguagem é que ela é centrada no modelo ou na engenharia. Ou seja, o progresso em estímulos, ferramentas e pipelines de agentes de linguagem requer esforços substanciais de engenharia manual por parte de especialistas humanos, em vez de aprender automaticamente a partir de dados. Acreditamos que a transição de um foco centrado no modelo ou na engenharia para um foco centrado em dados, ou seja, a capacidade dos agentes de linguagem de aprender e evoluir autonomamente em ambientes, é a chave para eles possivelmente alcançarem a IAG. Neste trabalho, apresentamos a aprendizagem simbólica de agentes, um framework sistemático que permite aos agentes de linguagem se otimizarem por conta própria de forma centrada em dados usando otimizadores simbólicos. Especificamente, consideramos agentes como redes simbólicas onde os pesos aprendíveis são definidos por estímulos, ferramentas e a forma como são empilhados. A aprendizagem simbólica de agentes é projetada para otimizar a rede simbólica dentro dos agentes de linguagem imitando dois algoritmos fundamentais na aprendizagem conexionista: retropropagação e descida de gradiente. Em vez de lidar com pesos numéricos, a aprendizagem simbólica de agentes trabalha com simulacros em linguagem natural de pesos, perdas e gradientes. Realizamos experimentos de prova de conceito em benchmarks padrão e tarefas complexas do mundo real e mostramos que a aprendizagem simbólica de agentes permite que os agentes de linguagem se atualizem após serem criados e implantados na natureza, resultando em "agentes autoevolutivos".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".