심볼릭 학습은 자기 진화 에이전트를 가능하게 한다

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

저자: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

초록

AI 커뮤니티는 프롬프팅 기법과 도구 사용 방법을 포함하는 복잡한 대규모 언어 모델(LLM) 파이프라인인 "언어 에이전트"를 개발함으로써 인공 일반 지능(AGI)으로 가는 길을 탐구해 왔습니다. 언어 에이전트는 많은 실제 작업에서 인상적인 능력을 보여주었지만, 현재의 언어 에이전트 연구의 근본적인 한계는 모델 중심적이거나 엔지니어링 중심적이라는 점입니다. 즉, 언어 에이전트의 프롬프트, 도구, 파이프라인에 대한 진전은 데이터로부터 자동으로 학습하는 것이 아니라 인간 전문가의 상당한 수동 엔지니어링 노력을 필요로 합니다. 우리는 모델 중심적이거나 엔지니어링 중심적인 접근에서 데이터 중심적인 접근, 즉 언어 에이전트가 환경에서 자율적으로 학습하고 진화할 수 있는 능력으로의 전환이 AGI를 달성하는 데 있어 핵심이라고 믿습니다. 이 연구에서 우리는 언어 에이전트가 데이터 중심적인 방식으로 스스로 최적화할 수 있도록 하는 체계적인 프레임워크인 에이전트 심볼릭 학습을 소개합니다. 구체적으로, 우리는 에이전트를 프롬프트, 도구, 그리고 이들이 함께 쌓이는 방식에 의해 정의되는 학습 가능한 가중치를 가진 심볼릭 네트워크로 간주합니다. 에이전트 심볼릭 학습은 연결주의 학습의 두 가지 기본 알고리즘인 역전파와 경사 하강법을 모방하여 언어 에이전트 내의 심볼릭 네트워크를 최적화하도록 설계되었습니다. 숫자 가중치를 다루는 대신, 에이전트 심볼릭 학습은 자연어로 표현된 가중치, 손실, 그리고 그래디언트의 시뮬라크럼을 사용합니다. 우리는 표준 벤치마크와 복잡한 실제 작업에 대한 개념 증명 실험을 수행하고, 에이전트 심볼릭 학습이 언어 에이전트가 생성 및 배포된 후에도 스스로 업데이트할 수 있게 하여 "자기 진화 에이전트"를 만들어냄을 보여줍니다.

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".