VoxPoser: Samenstelbare 3D Waardekaarten voor Robotmanipulatie met Taalmodellen

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Auteurs: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Samenvatting

Grote taalmodellen (LLM's) blijken een schat aan bruikbare kennis te bevatten die kan worden geëxtraheerd voor robotmanipulatie in de vorm van redenering en planning. Ondanks de vooruitgang zijn de meeste modellen nog steeds afhankelijk van vooraf gedefinieerde bewegingsprimitieven om fysieke interacties met de omgeving uit te voeren, wat een groot knelpunt blijft. In dit werk streven we ernaar robotbanen te synthetiseren, d.w.z. een dichte reeks van 6-DoF eindpunt-wegpunten, voor een grote verscheidenheid aan manipulatietaken, gegeven een open set van instructies en een open set van objecten. We bereiken dit door eerst te observeren dat LLM's uitblinken in het afleiden van affordanties en beperkingen op basis van een vrije-taalinstructie. Belangrijker nog, door gebruik te maken van hun codeerschrijfvaardigheden, kunnen ze interacteren met een visueel-taalmodel (VLM) om 3D-waardekaarten samen te stellen om de kennis te verankeren in de observatieruimte van de agent. De samengestelde waardekaarten worden vervolgens gebruikt in een modelgebaseerd planningsraamwerk om zero-shot gesloten-lus robotbanen te synthetiseren met robuustheid tegen dynamische verstoringen. We demonstreren verder hoe het voorgestelde raamwerk kan profiteren van online ervaringen door efficiënt een dynamisch model te leren voor scènes die contactrijke interacties omvatten. We presenteren een grootschalige studie van de voorgestelde methode in zowel gesimuleerde als echte robotomgevingen, waarbij we het vermogen tonen om een grote verscheidenheid aan alledaagse manipulatietaken uit te voeren die zijn gespecificeerd in vrije-vorm natuurlijke taal. Projectwebsite: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io