VoxPoser: Mapas de Valor 3D Componibles para la Manipulación Robótica con Modelos de Lenguaje

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Autores: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Resumen

Se ha demostrado que los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) poseen un vasto conocimiento accionable que puede extraerse para la manipulación robótica en forma de razonamiento y planificación. A pesar de los avances, la mayoría aún depende de primitivas de movimiento predefinidas para llevar a cabo las interacciones físicas con el entorno, lo que sigue siendo un cuello de botella importante. En este trabajo, nuestro objetivo es sintetizar trayectorias robóticas, es decir, una secuencia densa de puntos de referencia del efector final en 6 grados de libertad (6-DoF), para una amplia variedad de tareas de manipulación dadas instrucciones de lenguaje abierto y un conjunto abierto de objetos. Logramos esto al observar primero que los LLMs sobresalen en inferir posibilidades de acción (affordances) y restricciones dada una instrucción de lenguaje libre. Más importante aún, al aprovechar su capacidad para escribir código, pueden interactuar con un modelo visual-lingüístico (VLM, por sus siglas en inglés) para componer mapas de valor 3D que anclen el conocimiento en el espacio de observación del agente. Los mapas de valor compuestos se utilizan luego en un marco de planificación basado en modelos para sintetizar trayectorias robóticas en bucle cerrado de manera robusta frente a perturbaciones dinámicas, sin necesidad de entrenamiento previo (zero-shot). Además, demostramos cómo el marco propuesto puede beneficiarse de experiencias en línea al aprender eficientemente un modelo de dinámica para escenas que involucran interacciones ricas en contacto. Presentamos un estudio a gran escala del método propuesto en entornos tanto simulados como de robots reales, mostrando la capacidad de realizar una amplia variedad de tareas cotidianas de manipulación especificadas en lenguaje natural libre. Sitio web del proyecto: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io