Voyager: 대규모 언어 모델 기반의 개방형 구현 에이전트

초록

우리는 인간의 개입 없이 지속적으로 세계를 탐험하고 다양한 기술을 습득하며 새로운 발견을 하는, Minecraft 내 최초의 LLM 기반 구체화된 평생 학습 에이전트인 Voyager를 소개합니다. Voyager는 세 가지 핵심 구성 요소로 이루어져 있습니다: 1) 탐험을 극대화하는 자동 커리큘럼, 2) 복잡한 행동을 저장하고 검색하기 위한 실행 가능한 코드로 구성된 지속적으로 성장하는 기술 라이브러리, 3) 환경 피드백, 실행 오류 및 자체 검증을 통합하여 프로그램을 개선하는 새로운 반복적 프롬프트 메커니즘. Voyager는 GPT-4와 블랙박스 쿼리를 통해 상호작용하며, 이는 모델 파라미터 미세 조정의 필요성을 없앱니다. Voyager가 개발한 기술은 시간적으로 확장 가능하고 해석 가능하며 구성적이어서, 에이전트의 능력을 빠르게 증대시키고 치명적인 망각을 완화합니다. 실험적으로, Voyager는 강력한 문맥 내 평생 학습 능력을 보여주며 Minecraft 플레이에서 탁월한 숙련도를 나타냅니다. 이전 SOTA 대비 3.3배 더 많은 고유 아이템을 획득하고, 2.3배 더 긴 거리를 이동하며, 주요 기술 트리 이정표를 최대 15.3배 더 빠르게 해제합니다. Voyager는 학습된 기술 라이브러리를 새로운 Minecraft 세계에서 활용하여 처음부터 새로운 작업을 해결할 수 있는 반면, 다른 기술들은 일반화에 어려움을 겪습니다. 우리는 전체 코드베이스와 프롬프트를 https://voyager.minedojo.org/에서 오픈소스로 공개합니다.

English

We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.

Voyager: 대규모 언어 모델 기반의 개방형 구현 에이전트

Voyager: An Open-Ended Embodied Agent with Large Language Models

초록

Support