AgentGym: Evolution von Agenten auf Basis großer Sprachmodelle in vielfältigen Umgebungen

AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

June 6, 2024

Autoren: Zhiheng Xi, Yiwen Ding, Wenxiang Chen, Boyang Hong, Honglin Guo, Junzhe Wang, Dingwen Yang, Chenyang Liao, Xin Guo, Wei He, Songyang Gao, Lu Chen, Rui Zheng, Yicheng Zou, Tao Gui, Qi Zhang, Xipeng Qiu, Xuanjing Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Zusammenfassung

Der Aufbau von Generalisten-Agenten, die verschiedene Aufgaben bewältigen und sich in verschiedenen Umgebungen weiterentwickeln können, ist ein langfristiges Ziel in der KI-Community. Große Sprachmodelle (LLMs) gelten als vielversprechende Grundlage, um solche Agenten aufgrund ihrer generalisierten Fähigkeiten zu entwickeln. Aktuelle Ansätze sehen entweder vor, dass auf LLM basierende Agenten Experten-Trajektorien schrittweise nachahmen, was menschliche Überwachung erfordert, schwer zu skalieren ist und die Umwelterkundung einschränkt; oder sie lassen Agenten in isolierten Umgebungen erkunden und lernen, was zu Spezialisten-Agenten mit begrenzter Verallgemeinerung führt. In diesem Papier gehen wir den ersten Schritt zur Entwicklung von allgemein fähigen LLM-basierten Agenten mit Selbstentwicklungsfähigkeit. Wir identifizieren eine Dreifaltigkeit von Bestandteilen: 1) verschiedene Umgebungen für die Agentenexploration und das Lernen, 2) einen Trajektoriensatz, um Agenten mit grundlegenden Fähigkeiten und Vorwissen auszustatten, und 3) eine effektive und skalierbare Evolutionsmethode. Wir schlagen AgentGym vor, ein neues Framework mit einer Vielzahl von Umgebungen und Aufgaben für breite, Echtzeit-, Einheitsformat- und gleichzeitige Agentenexploration. AgentGym umfasst auch eine Datenbank mit erweiterten Anweisungen, eine Benchmark-Suite und hochwertige Trajektorien in verschiedenen Umgebungen. Anschließend schlagen wir eine neuartige Methode, AgentEvol, vor, um das Potenzial der Agenten-Selbstentwicklung über bisher gesehene Daten hinaus in verschiedenen Aufgaben und Umgebungen zu untersuchen. Experimentelle Ergebnisse zeigen, dass die weiterentwickelten Agenten Ergebnisse erzielen können, die mit SOTA-Modellen vergleichbar sind. Wir veröffentlichen die AgentGym-Suite, einschließlich der Plattform, des Datensatzes, der Benchmark, der Checkpoints und der Algorithmusimplementierungen. Die AgentGym-Suite ist verfügbar unter https://github.com/WooooDyy/AgentGym.

English

Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.