AgentGym: Evoluzione di agenti basati su modelli linguistici di grandi dimensioni in ambienti diversificati

Abstract

Costruire agenti generalisti in grado di gestire compiti diversificati ed evolversi attraverso diversi ambienti è un obiettivo a lungo termine nella comunità dell'IA. I grandi modelli linguistici (LLM) sono considerati una base promettente per costruire tali agenti grazie alle loro capacità generalizzate. Gli approcci attuali prevedono che gli agenti basati su LLM imitino passo-passo le traiettorie fornite da esperti, richiedendo una supervisione umana che è difficile da scalare e limita l'esplorazione ambientale; oppure lasciano che gli agenti esplorino e apprendano in ambienti isolati, ottenendo agenti specializzati con una generalizzazione limitata. In questo articolo, compiamo il primo passo verso la costruzione di agenti basati su LLM con capacità generali e abilità di auto-evoluzione. Identifichiamo una triade di ingredienti: 1) ambienti diversificati per l'esplorazione e l'apprendimento degli agenti, 2) un insieme di traiettorie per dotare gli agenti di capacità di base e conoscenze pregresse, e 3) un metodo di evoluzione efficace e scalabile. Proponiamo AgentGym, un nuovo framework che offre una varietà di ambienti e compiti per un'esplorazione ampia, in tempo reale, in formato unificato e concorrente degli agenti. AgentGym include anche un database con istruzioni ampliate, una suite di benchmark e traiettorie di alta qualità attraverso gli ambienti. Successivamente, proponiamo un metodo innovativo, AgentEvol, per investigare il potenziale di auto-evoluzione degli agenti oltre i dati precedentemente osservati, attraverso compiti e ambienti. I risultati sperimentali mostrano che gli agenti evoluti possono ottenere risultati comparabili ai modelli SOTA. Rilasciamo la suite AgentGym, inclusa la piattaforma, il dataset, il benchmark, i checkpoint e le implementazioni degli algoritmi. La suite AgentGym è disponibile su https://github.com/WooooDyy/AgentGym.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.

AgentGym: Evoluzione di agenti basati su modelli linguistici di grandi dimensioni in ambienti diversificati

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

Abstract

Support