Modelos de Visão-Linguagem Fisicamente Fundamentados para Manipulação Robótica

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023

Autores: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh

cs.AI

Resumo

Avanços recentes em modelos de visão e linguagem (VLMs) levaram a melhorias no desempenho em tarefas como resposta a perguntas visuais e legendagem de imagens. Consequentemente, esses modelos estão agora bem posicionados para raciocinar sobre o mundo físico, particularmente em domínios como a manipulação robótica. No entanto, os VLMs atuais são limitados em sua compreensão dos conceitos físicos (por exemplo, material, fragilidade) de objetos comuns, o que restringe sua utilidade para tarefas de manipulação robótica que envolvem interação e raciocínio físico sobre tais objetos. Para abordar essa limitação, propomos o PhysObjects, um conjunto de dados centrado em objetos com 36,9K anotações de conceitos físicos coletadas por meio de crowdsourcing e 417K anotações automatizadas de objetos domésticos comuns. Demonstramos que o ajuste fino de um VLM no PhysObjects melhora sua compreensão dos conceitos físicos dos objetos, capturando os conhecimentos prévios humanos desses conceitos a partir da aparência visual. Incorporamos esse VLM fundamentado fisicamente em uma estrutura interativa com um planejador robótico baseado em um grande modelo de linguagem, e mostramos um desempenho aprimorado no planejamento de tarefas que exigem raciocínio sobre conceitos físicos de objetos, em comparação com baselines que não utilizam VLMs fundamentados fisicamente. Além disso, ilustramos os benefícios do nosso VLM fundamentado fisicamente em um robô real, onde ele melhora as taxas de sucesso das tarefas. Disponibilizamos nosso conjunto de dados e fornecemos mais detalhes e visualizações dos nossos resultados em https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.