Voyager : Un agent incarné à objectifs ouverts basé sur des modèles de langage de grande taille

Voyager: An Open-Ended Embodied Agent with Large Language Models

May 25, 2023

Auteurs: Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar

cs.AI

Résumé

Nous présentons Voyager, le premier agent d'apprentissage continu incarné et alimenté par un LLM dans Minecraft, qui explore continuellement le monde, acquiert des compétences diversifiées et fait de nouvelles découvertes sans intervention humaine. Voyager se compose de trois éléments clés : 1) un curriculum automatique qui maximise l'exploration, 2) une bibliothèque de compétences en constante expansion contenant du code exécutable pour stocker et récupérer des comportements complexes, et 3) un nouveau mécanisme d'incitation itératif qui intègre les retours de l'environnement, les erreurs d'exécution et l'auto-vérification pour améliorer les programmes. Voyager interagit avec GPT-4 via des requêtes en boîte noire, ce qui évite le besoin de réglage fin des paramètres du modèle. Les compétences développées par Voyager sont temporellement étendues, interprétables et compositionnelles, ce qui accroît rapidement les capacités de l'agent et atténue l'oubli catastrophique. Empiriquement, Voyager démontre une forte capacité d'apprentissage continu en contexte et montre une maîtrise exceptionnelle dans le jeu Minecraft. Il obtient 3,3 fois plus d'objets uniques, parcourt des distances 2,3 fois plus longues et débloque les étapes clés de l'arbre technologique jusqu'à 15,3 fois plus vite que les précédents SOTA. Voyager est capable d'utiliser la bibliothèque de compétences apprises dans un nouveau monde Minecraft pour résoudre des tâches inédites à partir de zéro, tandis que d'autres techniques peinent à généraliser. Nous mettons à disposition notre codebase complète et nos incitations à l'adresse https://voyager.minedojo.org/.

English

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.