VoxPoser: Mapas de Valor 3D Componíveis para Manipulação Robótica com Modelos de Linguagem

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

July 12, 2023

Autores: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) demonstram possuir um vasto conhecimento acionável que pode ser extraído para manipulação robótica na forma de raciocínio e planejamento. Apesar dos avanços, a maioria ainda depende de primitivas de movimento pré-definidas para realizar interações físicas com o ambiente, o que continua sendo um grande gargalo. Neste trabalho, buscamos sintetizar trajetórias robóticas, ou seja, uma sequência densa de waypoints de 6 graus de liberdade (6-DoF) para o efetuador final, para uma grande variedade de tarefas de manipulação, dadas instruções em linguagem natural de conjunto aberto e objetos de conjunto aberto. Isso é alcançado primeiro observando que os LLMs se destacam em inferir affordances e restrições dadas instruções em linguagem livre. Mais importante, ao aproveitar suas capacidades de escrita de código, eles podem interagir com um modelo visual-linguístico (VLM) para compor mapas de valor 3D, aterrando o conhecimento no espaço de observação do agente. Os mapas de valor compostos são então usados em um framework de planejamento baseado em modelo para sintetizar trajetórias robóticas de malha fechada de forma zero-shot, com robustez a perturbações dinâmicas. Além disso, demonstramos como o framework proposto pode se beneficiar de experiências online ao aprender eficientemente um modelo de dinâmica para cenas que envolvem interações ricas em contato. Apresentamos um estudo em larga escala do método proposto em ambientes simulados e com robôs reais, mostrando a capacidade de realizar uma grande variedade de tarefas cotidianas de manipulação especificadas em linguagem natural livre. Site do projeto: https://voxposer.github.io

English

Large language models (LLMs) are shown to possess a wealth of actionable knowledge that can be extracted for robot manipulation in the form of reasoning and planning. Despite the progress, most still rely on pre-defined motion primitives to carry out the physical interactions with the environment, which remains a major bottleneck. In this work, we aim to synthesize robot trajectories, i.e., a dense sequence of 6-DoF end-effector waypoints, for a large variety of manipulation tasks given an open-set of instructions and an open-set of objects. We achieve this by first observing that LLMs excel at inferring affordances and constraints given a free-form language instruction. More importantly, by leveraging their code-writing capabilities, they can interact with a visual-language model (VLM) to compose 3D value maps to ground the knowledge into the observation space of the agent. The composed value maps are then used in a model-based planning framework to zero-shot synthesize closed-loop robot trajectories with robustness to dynamic perturbations. We further demonstrate how the proposed framework can benefit from online experiences by efficiently learning a dynamics model for scenes that involve contact-rich interactions. We present a large-scale study of the proposed method in both simulated and real-robot environments, showcasing the ability to perform a large variety of everyday manipulation tasks specified in free-form natural language. Project website: https://voxposer.github.io