VoxPoser: Mappe di Valore 3D Componibili per la Manipolazione Robotica con Modelli Linguistici

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Autori: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato di possedere una ricchezza di conoscenza utilizzabile che può essere estratta per la manipolazione robotica sotto forma di ragionamento e pianificazione. Nonostante i progressi, la maggior parte si basa ancora su primitive di movimento predefinite per eseguire le interazioni fisiche con l'ambiente, che rimane un collo di bottiglia significativo. In questo lavoro, miriamo a sintetizzare traiettorie robotiche, ovvero una sequenza densa di punti di riferimento a 6 gradi di libertà (6-DoF) per l'end-effector, per una vasta gamma di compiti di manipolazione dati un insieme aperto di istruzioni e un insieme aperto di oggetti. Raggiungiamo questo obiettivo osservando innanzitutto che gli LLM eccellono nell'inferire affordance e vincoli data un'istruzione linguistica in forma libera. Ancora più importante, sfruttando le loro capacità di scrittura di codice, possono interagire con un modello visivo-linguistico (VLM) per comporre mappe di valore 3D, radicando così la conoscenza nello spazio di osservazione dell'agente. Le mappe di valore composte vengono quindi utilizzate in un framework di pianificazione basato su modelli per sintetizzare in modalità zero-shot traiettorie robotiche a ciclo chiuso, con robustezza alle perturbazioni dinamiche. Dimostriamo inoltre come il framework proposto possa trarre vantaggio da esperienze online, apprendendo in modo efficiente un modello di dinamica per scene che coinvolgono interazioni ricche di contatto. Presentiamo uno studio su larga scala del metodo proposto in ambienti sia simulati che con robot reali, mostrando la capacità di eseguire una vasta gamma di compiti di manipolazione quotidiana specificati in linguaggio naturale libero. Sito web del progetto: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io