VoxPoser : Cartes de valeurs 3D composables pour la manipulation robotique avec des modèles de langage

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Auteurs: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Résumé

Les grands modèles de langage (LLMs) se sont révélés posséder une richesse de connaissances exploitables qui peuvent être extraites pour la manipulation robotique sous forme de raisonnement et de planification. Malgré les progrès réalisés, la plupart reposent encore sur des primitives de mouvement prédéfinies pour effectuer les interactions physiques avec l'environnement, ce qui reste un goulot d'étranglement majeur. Dans ce travail, nous visons à synthétiser des trajectoires robotiques, c'est-à-dire une séquence dense de points de passage à 6 degrés de liberté pour l'effecteur terminal, pour une grande variété de tâches de manipulation, étant donné un ensemble ouvert d'instructions et un ensemble ouvert d'objets. Nous y parvenons en observant d'abord que les LLMs excellent à inférer les affordances et les contraintes à partir d'une instruction en langage naturel libre. Plus important encore, en exploitant leurs capacités d'écriture de code, ils peuvent interagir avec un modèle visio-linguistique (VLM) pour composer des cartes de valeurs 3D afin d'ancrer ces connaissances dans l'espace d'observation de l'agent. Les cartes de valeurs composées sont ensuite utilisées dans un cadre de planification basé sur un modèle pour synthétiser en zero-shot des trajectoires robotiques en boucle fermée, robustes aux perturbations dynamiques. Nous démontrons en outre comment le cadre proposé peut bénéficier d'expériences en ligne en apprenant efficacement un modèle de dynamique pour des scènes impliquant des interactions riches en contacts. Nous présentons une étude à grande échelle de la méthode proposée dans des environnements simulés et avec des robots réels, mettant en évidence la capacité à exécuter une grande variété de tâches de manipulation quotidiennes spécifiées en langage naturel libre. Site du projet : https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io