AgentGym: 다양한 환경에서 대규모 언어 모델 기반 에이전트의 진화

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

June 6, 2024

저자: Zhiheng Xi, Yiwen Ding, Wenxiang Chen, Boyang Hong, Honglin Guo, Junzhe Wang, Dingwen Yang, Chenyang Liao, Xin Guo, Wei He, Songyang Gao, Lu Chen, Rui Zheng, Yicheng Zou, Tao Gui, Qi Zhang, Xipeng Qiu, Xuanjing Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

초록

다양한 작업을 처리하고 다양한 환경에서 스스로 진화할 수 있는 일반화된 에이전트를 구축하는 것은 AI 커뮤니티의 장기적인 목표입니다. 대규모 언어 모델(LLM)은 이러한 에이전트를 구축하기 위한 유망한 기반으로 간주되며, 이는 LLM의 일반화된 능력 때문입니다. 현재의 접근 방식은 LLM 기반 에이전트가 전문가가 제공한 궤적을 단계별로 모방하도록 하여 인간의 감독이 필요하며, 이는 확장이 어렵고 환경 탐색을 제한합니다. 또는 에이전트가 고립된 환경에서 탐색하고 학습하도록 하여 일반화 능력이 제한된 전문가형 에이전트를 만듭니다. 본 논문에서는 자기 진화 능력을 갖춘 일반화된 LLM 기반 에이전트를 구축하기 위한 첫 걸음을 내딛습니다. 우리는 세 가지 핵심 요소를 식별했습니다: 1) 에이전트 탐색 및 학습을 위한 다양한 환경, 2) 에이전트에 기본 능력과 사전 지식을 제공하기 위한 궤적 집합, 3) 효과적이고 확장 가능한 진화 방법. 우리는 AgentGym이라는 새로운 프레임워크를 제안하며, 이는 광범위하고 실시간이며 통일된 형식의 동시적 에이전트 탐색을 위한 다양한 환경과 작업을 특징으로 합니다. AgentGym은 또한 확장된 지침, 벤치마크 스위트, 그리고 다양한 환경에서의 고품질 궤적을 포함하는 데이터베이스를 포함합니다. 다음으로, 우리는 AgentEvol이라는 새로운 방법을 제안하여 이전에 본 적 없는 데이터를 넘어 작업과 환경에서 에이전트의 자기 진화 잠재력을 탐구합니다. 실험 결과는 진화된 에이전트가 SOTA 모델과 비슷한 결과를 달성할 수 있음을 보여줍니다. 우리는 AgentGym 스위트를 공개하며, 여기에는 플랫폼, 데이터셋, 벤치마크, 체크포인트, 그리고 알고리즘 구현이 포함됩니다. AgentGym 스위트는 https://github.com/WooooDyy/AgentGym에서 이용 가능합니다.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.