AgentGym: Evolución de agentes basados en modelos de lenguaje de gran escala a través de diversos entornos

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

June 6, 2024

Autores: Zhiheng Xi, Yiwen Ding, Wenxiang Chen, Boyang Hong, Honglin Guo, Junzhe Wang, Dingwen Yang, Chenyang Liao, Xin Guo, Wei He, Songyang Gao, Lu Chen, Rui Zheng, Yicheng Zou, Tao Gui, Qi Zhang, Xipeng Qiu, Xuanjing Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Resumen

Construir agentes generalistas capaces de manejar diversas tareas y evolucionar en diferentes entornos es un objetivo a largo plazo en la comunidad de IA. Los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) se consideran una base prometedora para construir dichos agentes debido a sus capacidades generalizadas. Los enfoques actuales hacen que los agentes basados en LLM imiten trayectorias proporcionadas por expertos paso a paso, lo que requiere supervisión humana, dificulta la escalabilidad y limita la exploración del entorno; o permiten que los agentes exploren y aprendan en entornos aislados, lo que resulta en agentes especializados con una generalización limitada. En este artículo, damos el primer paso hacia la construcción de agentes basados en LLM con capacidad general y habilidad de auto-evolución. Identificamos una tríada de ingredientes clave: 1) entornos diversos para la exploración y aprendizaje del agente, 2) un conjunto de trayectorias para equipar a los agentes con capacidades básicas y conocimiento previo, y 3) un método de evolución efectivo y escalable. Proponemos AgentGym, un nuevo marco que incluye una variedad de entornos y tareas para una exploración amplia, en tiempo real, unificada y concurrente de los agentes. AgentGym también incluye una base de datos con instrucciones ampliadas, un conjunto de benchmarks y trayectorias de alta calidad en múltiples entornos. A continuación, proponemos un método novedoso, AgentEvol, para investigar el potencial de la auto-evolución de los agentes más allá de los datos previamente vistos en tareas y entornos. Los resultados experimentales muestran que los agentes evolucionados pueden alcanzar resultados comparables a los modelos de última generación (SOTA). Publicamos el conjunto AgentGym, que incluye la plataforma, el conjunto de datos, los benchmarks, los puntos de control y las implementaciones de los algoritmos. El conjunto AgentGym está disponible en https://github.com/WooooDyy/AgentGym.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.