VoxPoser: 언어 모델 기반 로봇 조작을 위한 구성 가능한 3D 값 맵

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

저자: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

초록

대규모 언어 모델(LLMs)은 로봇 조작을 위한 추론 및 계획 형태로 추출 가능한 실행 가능한 지식을 풍부하게 보유하고 있음이 입증되었습니다. 이러한 진전에도 불구하고, 대부분의 연구는 여전히 환경과의 물리적 상호작용을 수행하기 위해 사전 정의된 동작 원시 요소에 의존하고 있으며, 이는 주요 병목 현상으로 남아 있습니다. 본 연구에서는 다양한 조작 작업에 대해 6자유도 엔드 이펙터 웨이포인트의 밀집한 시퀀스인 로봇 궤적을 합성하는 것을 목표로 합니다. 이를 위해, 우리는 먼저 LLMs가 자유 형식의 언어 지시가 주어졌을 때 어포던스와 제약 조건을 추론하는 데 탁월하다는 점을 관찰했습니다. 더 중요한 것은, LLMs의 코드 작성 능력을 활용하여 시각-언어 모델(VLM)과 상호작용하여 3D 값 맵을 구성함으로써 에이전트의 관찰 공간에 지식을 구체화할 수 있다는 점입니다. 구성된 값 맵은 모델 기반 계획 프레임워크에서 사용되어 동적 섭동에 강인한 폐루프 로봇 궤적을 제로샷으로 합성합니다. 또한, 제안된 프레임워크가 접점이 풍부한 상호작용이 포함된 장면에 대한 동역학 모델을 효율적으로 학습함으로써 온라인 경험으로부터 이점을 얻을 수 있음을 보여줍니다. 우리는 시뮬레이션 및 실제 로봇 환경에서 제안된 방법의 대규모 연구를 제시하며, 자유 형식의 자연어로 지정된 다양한 일상적 조작 작업을 수행할 수 있는 능력을 입증합니다. 프로젝트 웹사이트: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io