AgentGym: Эволюция агентов на основе больших моделей языка в разнообразных средах

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

June 6, 2024

Авторы: Zhiheng Xi, Yiwen Ding, Wenxiang Chen, Boyang Hong, Honglin Guo, Junzhe Wang, Dingwen Yang, Chenyang Liao, Xin Guo, Wei He, Songyang Gao, Lu Chen, Rui Zheng, Yicheng Zou, Tao Gui, Qi Zhang, Xipeng Qiu, Xuanjing Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Аннотация

Построение универсальных агентов, способных обрабатывать разнообразные задачи и развиваться в различных средах, является долгосрочной целью в области искусственного интеллекта. Большие языковые модели (LLM) считаются многообещающим фундаментом для создания таких агентов благодаря их обобщенным возможностям. Нынешние подходы либо заставляют агентов на основе LLM имитировать траектории, предоставленные экспертами, шаг за шагом, требуя человеческого наблюдения, что затрудняет масштабирование и ограничивает исследование окружающей среды; либо позволяют агентам исследовать и учиться в изолированных средах, что приводит к специализированным агентам с ограниченной обобщающей способностью. В данной статье мы делаем первый шаг к созданию агентов на основе LLM, обладающих общими способностями и способных к саморазвитию. Мы выделяем три ключевых компонента: 1) разнообразные среды для исследования и обучения агентов, 2) набор траекторий для оснащения агентов базовыми способностями и предварительными знаниями, и 3) эффективный и масштабируемый метод эволюции. Мы предлагаем AgentGym, новую платформу, предлагающую разнообразные среды и задачи для широкого, реального времени, унифицированного и параллельного исследования агентов. AgentGym также включает базу данных с расширенными инструкциями, набор тестов, и высококачественные траектории по различным средам. Затем мы предлагаем новый метод, AgentEvol, для изучения потенциала саморазвития агента за пределами ранее виденных данных по задачам и средам. Экспериментальные результаты показывают, что эволюционировавшие агенты могут достичь результатов, сравнимых с моделями SOTA. Мы выпускаем набор инструментов AgentGym, включая платформу, набор данных, тестовую выборку, контрольные точки и реализации алгоритмов. Набор инструментов AgentGym доступен на https://github.com/WooooDyy/AgentGym.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.