Fysiek Gegronde Visie-Taalmodellen voor Robotmanipulatie

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023

Auteurs: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh

cs.AI

Samenvatting

Recente ontwikkelingen in visueel-taalkundige modellen (VLMs) hebben geleid tot verbeterde prestaties bij taken zoals visuele vraagbeantwoording en beeldbeschrijving. Hierdoor zijn deze modellen nu goed gepositioneerd om te redeneren over de fysieke wereld, met name binnen domeinen zoals robotmanipulatie. Echter, huidige VLMs zijn beperkt in hun begrip van fysieke concepten (bijvoorbeeld materiaal, breekbaarheid) van alledaagse objecten, wat hun bruikbaarheid beperkt voor robotmanipulatietaken die interactie en fysiek redeneren over dergelijke objecten vereisen. Om deze beperking aan te pakken, stellen we PhysObjects voor, een objectgecentreerde dataset van 36,9K door de crowd gegenereerde en 417K geautomatiseerde annotaties van fysieke concepten van alledaagse huishoudelijke objecten. We demonstreren dat het fine-tunen van een VLM op PhysObjects het begrip van fysieke objectconcepten verbetert, door menselijke voorkennis van deze concepten vast te leggen vanuit visuele verschijning. We integreren dit fysiek onderbouwde VLM in een interactief framework met een op een groot taalmodel gebaseerde robotplanner, en tonen verbeterde planningsprestaties aan bij taken die redeneren over fysieke objectconcepten vereisen, vergeleken met baseline-modellen die geen gebruik maken van fysiek onderbouwde VLMs. Daarnaast illustreren we de voordelen van ons fysiek onderbouwde VLM op een echte robot, waar het de taaksuccespercentages verbetert. We maken onze dataset beschikbaar en bieden verdere details en visualisaties van onze resultaten op https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.