ChatPaper.aiChatPaper

Physikalisch fundierte Vision-Sprach-Modelle für die robotische Manipulation

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023
Autoren: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh
cs.AI

Zusammenfassung

Jüngste Fortschritte in Vision-Language-Modellen (VLMs) haben zu verbesserten Leistungen bei Aufgaben wie visueller Fragebeantwortung und Bildbeschriftung geführt. Dadurch sind diese Modelle nun gut positioniert, um über die physische Welt zu schlussfolgern, insbesondere in Bereichen wie der Roboter-Manipulation. Allerdings sind aktuelle VLMs in ihrem Verständnis physischer Konzepte (z. B. Material, Zerbrechlichkeit) von Alltagsgegenständen begrenzt, was ihre Nützlichkeit für Roboter-Manipulationsaufgaben einschränkt, die Interaktion und physisches Schlussfolgern über solche Objekte erfordern. Um diese Einschränkung zu überwinden, schlagen wir PhysObjects vor, ein objektzentriertes Datenset mit 36.9K Crowd-sourced und 417K automatisierten Annotationen physischer Konzepte von gängigen Haushaltsgegenständen. Wir zeigen, dass das Feinabstimmen eines VLM auf PhysObjects dessen Verständnis physischer Objektkonzepte verbessert, indem menschliche Vorannahmen dieser Konzepte aus dem visuellen Erscheinungsbild erfasst werden. Wir integrieren dieses physikalisch fundierte VLM in ein interaktives Framework mit einem auf großen Sprachmodellen basierenden Roboterplaner und zeigen eine verbesserte Planungsleistung bei Aufgaben, die das Schlussfolgern über physische Objektkonzepte erfordern, im Vergleich zu Baseline-Modellen, die keine physikalisch fundierten VLMs nutzen. Zusätzlich demonstrieren wir die Vorteile unseres physikalisch fundierten VLM auf einem echten Roboter, wo es die Erfolgsraten bei Aufgaben erhöht. Wir veröffentlichen unser Datenset und bieten weitere Details sowie Visualisierungen unserer Ergebnisse unter https://iliad.stanford.edu/pg-vlm/ an.
English
Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.
PDF91December 15, 2024