Voyager: Ein offener verkörperter Agent mit großen Sprachmodellen

Zusammenfassung

Wir stellen Voyager vor, den ersten LLM-basierten verkörperten lebenslang lernenden Agenten in Minecraft, der kontinuierlich die Welt erkundet, vielfältige Fähigkeiten erwirbt und neue Entdeckungen ohne menschliches Eingreifen macht. Voyager besteht aus drei Schlüsselkomponenten: 1) einem automatischen Lehrplan, der die Erkundung maximiert, 2) einer ständig wachsenden Fähigkeitsbibliothek ausführbaren Codes zur Speicherung und Abfrage komplexer Verhaltensweisen und 3) einem neuen iterativen Prompting-Mechanismus, der Umgebungsfeedback, Ausführungsfehler und Selbstverifikation zur Programmverbesserung einbezieht. Voyager interagiert mit GPT-4 über Blackbox-Abfragen, wodurch die Notwendigkeit einer Feinabstimmung der Modellparameter entfällt. Die von Voyager entwickelten Fähigkeiten sind zeitlich erweitert, interpretierbar und kompositionell, was die Fähigkeiten des Agenten schnell steigert und katastrophales Vergessen mildert. Empirisch zeigt Voyager eine starke lebenslange Lernfähigkeit im Kontext und eine außergewöhnliche Kompetenz im Spielen von Minecraft. Es erhält 3,3x mehr einzigartige Gegenstände, legt 2,3x längere Strecken zurück und schaltet Schlüsseltechnologie-Meilensteine bis zu 15,3x schneller frei als bisherige SOTA-Methoden. Voyager ist in der Lage, die gelernte Fähigkeitsbibliothek in einer neuen Minecraft-Welt zu nutzen, um neue Aufgaben von Grund auf zu lösen, während andere Techniken Schwierigkeiten haben, zu generalisieren. Wir stellen unseren vollständigen Code und die Prompts unter https://voyager.minedojo.org/ als Open Source zur Verfügung.

English

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.

Voyager: Ein offener verkörperter Agent mit großen Sprachmodellen

Voyager: An Open-Ended Embodied Agent with Large Language Models

Zusammenfassung

Support