AgentGym: Evolução de Agentes Baseados em Modelos de Linguagem de Grande Escala em Ambientes Diversos

Resumo

Construir agentes generalistas capazes de lidar com tarefas diversas e evoluir em diferentes ambientes é um objetivo de longo prazo na comunidade de IA. Modelos de linguagem de grande escala (LLMs) são considerados uma base promissora para construir tais agentes devido às suas capacidades generalizadas. As abordagens atuais ou fazem com que agentes baseados em LLM imitem trajetórias fornecidas por especialistas passo a passo, exigindo supervisão humana, o que é difícil de escalar e limita a exploração ambiental; ou permitem que os agentes explorem e aprendam em ambientes isolados, resultando em agentes especialistas com generalização limitada. Neste artigo, damos o primeiro passo em direção à construção de agentes baseados em LLM com capacidade geral e habilidade de auto-evolução. Identificamos uma tríade de ingredientes: 1) ambientes diversos para exploração e aprendizado do agente, 2) um conjunto de trajetórias para equipar os agentes com capacidades básicas e conhecimento prévio, e 3) um método de evolução eficaz e escalável. Propomos o AgentGym, um novo framework que apresenta uma variedade de ambientes e tarefas para exploração ampla, em tempo real, em formato único e concorrente do agente. O AgentGym também inclui um banco de dados com instruções expandidas, um conjunto de benchmarks e trajetórias de alta qualidade em diversos ambientes. Em seguida, propomos um novo método, o AgentEvol, para investigar o potencial de auto-evolução do agente além dos dados previamente vistos em tarefas e ambientes. Os resultados experimentais mostram que os agentes evoluídos podem alcançar resultados comparáveis aos modelos SOTA. Disponibilizamos o conjunto AgentGym, incluindo a plataforma, conjunto de dados, benchmark, checkpoints e implementações de algoritmos. O conjunto AgentGym está disponível em https://github.com/WooooDyy/AgentGym.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.

AgentGym: Evolução de Agentes Baseados em Modelos de Linguagem de Grande Escala em Ambientes Diversos

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

Resumo

Support