Voyager: Автономный агент с открытой архитектурой на основе крупных языковых моделей

Voyager: An Open-Ended Embodied Agent with Large Language Models

May 25, 2023

Авторы: Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar

cs.AI

Аннотация

Мы представляем Voyager — первого воплощённого агента непрерывного обучения на основе крупных языковых моделей (LLM) в Minecraft, который непрерывно исследует мир, осваивает разнообразные навыки и совершает новые открытия без вмешательства человека. Voyager состоит из трёх ключевых компонентов: 1) автоматической учебной программы, максимизирующей исследование, 2) постоянно расширяемой библиотеки навыков в виде исполняемого кода для хранения и извлечения сложных поведений и 3) нового итеративного механизма запросов, который учитывает обратную связь от среды, ошибки выполнения и самопроверку для улучшения программ. Voyager взаимодействует с GPT-4 через чёрный ящик запросов, что устраняет необходимость тонкой настройки параметров модели. Навыки, разработанные Voyager, являются временно расширенными, интерпретируемыми и композиционными, что быстро усиливает способности агента и смягчает проблему катастрофического забывания. Эмпирически Voyager демонстрирует мощные способности к непрерывному обучению в контексте и исключительное мастерство в игре Minecraft. Он получает в 3,3 раза больше уникальных предметов, преодолевает в 2,3 раза большие расстояния и открывает ключевые этапы технологического дерева до 15,3 раза быстрее, чем предыдущие SOTA-методы. Voyager способен использовать изученную библиотеку навыков в новом мире Minecraft для решения новых задач с нуля, в то время как другие методы испытывают трудности с обобщением. Мы открываем исходный код и запросы по адресу https://voyager.minedojo.org/.

English

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.