Физически обоснованные визуально-языковые модели для роботизированного манипулирования

Physically Grounded Vision-Language Models for Robotic Manipulation

September 5, 2023

Авторы: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh

cs.AI

Аннотация

Последние достижения в области визуально-языковых моделей (VLM) привели к улучшению производительности в таких задачах, как визуальное ответы на вопросы и генерация подписей к изображениям. В результате эти модели теперь хорошо подходят для рассуждений о физическом мире, особенно в таких областях, как манипуляции с роботами. Однако современные VLM ограничены в понимании физических концепций (например, материал, хрупкость) обычных объектов, что снижает их полезность для задач роботизированных манипуляций, требующих взаимодействия и физического рассуждения о таких объектах. Чтобы устранить это ограничение, мы предлагаем PhysObjects — объектно-ориентированный набор данных, содержащий 36,9 тыс. аннотаций физических концепций, созданных с помощью краудсорсинга, и 417 тыс. автоматически сгенерированных аннотаций для обычных бытовых объектов. Мы демонстрируем, что тонкая настройка VLM на данных PhysObjects улучшает её понимание физических концепций объектов, захватывая человеческие представления об этих концепциях на основе визуального внешнего вида. Мы интегрируем эту физически обоснованную VLM в интерактивную структуру с планировщиком роботов на основе крупной языковой модели и показываем улучшение производительности планирования в задачах, требующих рассуждений о физических концепциях объектов, по сравнению с базовыми подходами, не использующими физически обоснованные VLM. Дополнительно мы демонстрируем преимущества нашей физически обоснованной VLM на реальном роботе, где она повышает успешность выполнения задач. Мы публикуем наш набор данных и предоставляем дополнительные детали и визуализации наших результатов на сайте https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.