Modèles vision-langage ancrés physiquement pour la manipulation robotique

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023

Auteurs: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh

cs.AI

Résumé

Les récents progrès dans les modèles vision-langage (VLMs) ont conduit à une amélioration des performances sur des tâches telles que la réponse à des questions visuelles et la génération de légendes d'images. Par conséquent, ces modèles sont désormais bien positionnés pour raisonner sur le monde physique, en particulier dans des domaines comme la manipulation robotique. Cependant, les VLMs actuels sont limités dans leur compréhension des concepts physiques (par exemple, matériau, fragilité) des objets courants, ce qui restreint leur utilité pour les tâches de manipulation robotique impliquant des interactions et un raisonnement physique sur de tels objets. Pour pallier cette limitation, nous proposons PhysObjects, un ensemble de données centré sur les objets contenant 36,9K annotations de concepts physiques issues du crowdsourcing et 417K annotations automatisées d'objets ménagers courants. Nous démontrons que l'affinage d'un VLM sur PhysObjects améliore sa compréhension des concepts physiques des objets, en capturant les préjugés humains de ces concepts à partir de l'apparence visuelle. Nous intégrons ce VLM ancré dans la physique dans un cadre interactif avec un planificateur robotique basé sur un grand modèle de langage, et montrons une amélioration des performances de planification sur des tâches nécessitant un raisonnement sur les concepts physiques des objets, par rapport aux bases de référence qui n'utilisent pas de VLMs ancrés dans la physique. Nous illustrons également les avantages de notre VLM ancré dans la physique sur un robot réel, où il améliore les taux de réussite des tâches. Nous publions notre ensemble de données et fournissons plus de détails et de visualisations de nos résultats sur https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.