Voyager: Um Agente Corporificado de Escopo Aberto com Modelos de Linguagem de Grande Escala

Voyager: An Open-Ended Embodied Agent with Large Language Models

May 25, 2023

Autores: Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar

cs.AI

Resumo

Apresentamos o Voyager, o primeiro agente de aprendizado contínuo incorporado e alimentado por LLM no Minecraft que explora o mundo de forma contínua, adquire diversas habilidades e faz descobertas inéditas sem intervenção humana. O Voyager é composto por três componentes principais: 1) um currículo automático que maximiza a exploração, 2) uma biblioteca de habilidades em constante crescimento, contendo código executável para armazenar e recuperar comportamentos complexos, e 3) um novo mecanismo de prompt iterativo que incorpora feedback do ambiente, erros de execução e auto-verificação para aprimorar programas. O Voyager interage com o GPT-4 por meio de consultas de caixa-preta, eliminando a necessidade de ajuste fino dos parâmetros do modelo. As habilidades desenvolvidas pelo Voyager são temporalmente estendidas, interpretáveis e composicionais, o que amplia rapidamente as capacidades do agente e mitiga o esquecimento catastrófico. Empiricamente, o Voyager demonstra uma forte capacidade de aprendizado contínuo em contexto e exibe proficiência excepcional ao jogar Minecraft. Ele obtém 3,3x mais itens únicos, percorre distâncias 2,3x maiores e desbloqueia marcos importantes da árvore tecnológica até 15,3x mais rápido do que os métodos SOTA anteriores. O Voyager é capaz de utilizar a biblioteca de habilidades aprendidas em um novo mundo do Minecraft para resolver tarefas inéditas do zero, enquanto outras técnicas lutam para generalizar. Disponibilizamos nosso código completo e prompts em https://voyager.minedojo.org/.

English

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.