Modelos de Visión-Lenguaje Fundamentados Físicamente para la Manipulación Robótica

Resumen

Los recientes avances en los modelos de visión y lenguaje (VLMs, por sus siglas en inglés) han llevado a mejoras en el rendimiento de tareas como la respuesta a preguntas visuales y la generación de descripciones de imágenes. Como resultado, estos modelos están ahora bien posicionados para razonar sobre el mundo físico, particularmente en dominios como la manipulación robótica. Sin embargo, los VLMs actuales tienen limitaciones en su comprensión de conceptos físicos (por ejemplo, material, fragilidad) de objetos comunes, lo que restringe su utilidad para tareas de manipulación robótica que implican interacción y razonamiento físico sobre dichos objetos. Para abordar esta limitación, proponemos PhysObjects, un conjunto de datos centrado en objetos que incluye 36.9K anotaciones de conceptos físicos obtenidas mediante crowdsourcing y 417K anotaciones automatizadas de objetos domésticos comunes. Demostramos que el ajuste fino de un VLM en PhysObjects mejora su comprensión de los conceptos físicos de los objetos, capturando los conocimientos previos humanos sobre estos conceptos a partir de la apariencia visual. Incorporamos este VLM fundamentado físicamente en un marco interactivo con un planificador robótico basado en un modelo de lenguaje grande, y mostramos un mejor rendimiento en la planificación de tareas que requieren razonamiento sobre conceptos físicos de objetos, en comparación con líneas base que no utilizan VLMs fundamentados físicamente. Además, ilustramos los beneficios de nuestro VLM fundamentado físicamente en un robot real, donde mejora las tasas de éxito en las tareas. Publicamos nuestro conjunto de datos y proporcionamos más detalles y visualizaciones de nuestros resultados en https://iliad.stanford.edu/pg-vlm/.

English

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 36.9K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.

Modelos de Visión-Lenguaje Fundamentados Físicamente para la Manipulación Robótica

Physically Grounded Vision-Language Models for Robotic Manipulation

Resumen

Support