Modelli Visione-Linguaggio Fisicamente Fondati per la Manipolazione Robotica

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023

Autori: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh

cs.AI

Abstract

I recenti progressi nei modelli visione-linguaggio (VLMs) hanno portato a miglioramenti nelle prestazioni su compiti come il question answering visivo e la generazione di didascalie per immagini. Di conseguenza, questi modelli sono ora ben posizionati per ragionare sul mondo fisico, in particolare in domini come la manipolazione robotica. Tuttavia, gli attuali VLMs sono limitati nella loro comprensione dei concetti fisici (ad esempio, materiale, fragilità) degli oggetti comuni, il che ne riduce l'utilità per compiti di manipolazione robotica che richiedono interazione e ragionamento fisico su tali oggetti. Per affrontare questa limitazione, proponiamo PhysObjects, un dataset centrato sugli oggetti che comprende 36.9K annotazioni di concetti fisici raccolte tramite crowd-sourcing e 417K annotazioni automatizzate di oggetti domestici comuni. Dimostriamo che il fine-tuning di un VLM su PhysObjects migliora la sua comprensione dei concetti fisici degli oggetti, catturando i priori umani di questi concetti dall'aspetto visivo. Integriamo questo VLM fisicamente fondato in un framework interattivo con un pianificatore robotico basato su un modello linguistico di grandi dimensioni, e mostriamo un miglioramento delle prestazioni di pianificazione su compiti che richiedono il ragionamento sui concetti fisici degli oggetti, rispetto ai baseline che non utilizzano VLMs fisicamente fondati. Illustriamo inoltre i benefici del nostro VLM fisicamente fondato su un robot reale, dove migliora i tassi di successo delle attività. Rilasciamo il nostro dataset e forniamo ulteriori dettagli e visualizzazioni dei nostri risultati su https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.