VoxPoser: Zusammensetzbare 3D-Wertkarten für die robotische Manipulation mit Sprachmodellen

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Autoren: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben sich als reich an umsetzbarem Wissen erwiesen, das in Form von Schlussfolgerungen und Planung für die Robotersteuerung extrahiert werden kann. Trotz der Fortschritte verlassen sich die meisten Ansätze jedoch weiterhin auf vordefinierte Bewegungsprimitive, um die physischen Interaktionen mit der Umgebung durchzuführen, was nach wie vor ein wesentlicher Engpass ist. In dieser Arbeit zielen wir darauf ab, Roboter-Trajektorien, d.h. eine dichte Abfolge von 6-DoF-Endeffektor-Wegpunkten, für eine Vielzahl von Manipulationsaufgaben zu synthetisieren, basierend auf einem offenen Satz von Anweisungen und einem offenen Satz von Objekten. Dies erreichen wir, indem wir zunächst feststellen, dass LLMs hervorragend darin sind, Affordanzen und Einschränkungen anhand einer freiformulierten Sprachanweisung abzuleiten. Noch wichtiger ist, dass sie durch die Nutzung ihrer Fähigkeit, Code zu schreiben, mit einem visuell-sprachlichen Modell (VLM) interagieren können, um 3D-Wertkarten zu erstellen, die das Wissen in den Beobachtungsraum des Agenten verankern. Die erstellten Wertkarten werden dann in einem modellbasierten Planungsframework verwendet, um geschlossene Roboter-Trajektorien mit Robustheit gegenüber dynamischen Störungen zu synthetisieren. Wir zeigen weiterhin, wie der vorgeschlagene Rahmen von Online-Erfahrungen profitieren kann, indem effizient ein Dynamikmodell für Szenen gelernt wird, die kontaktreiche Interaktionen beinhalten. Wir präsentieren eine groß angelegte Studie der vorgeschlagenen Methode in simulierten und realen Roboterumgebungen, die die Fähigkeit demonstriert, eine Vielzahl von alltäglichen Manipulationsaufgaben, die in freier natürlicher Sprache spezifiziert sind, auszuführen. Projektwebsite: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io