HomeRobot: Manipulación Móvil de Vocabulario Abierto

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Autores: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Resumen

HomeRobot (sustantivo): Un robot asequible y adaptable que navega por hogares y manipula una amplia variedad de objetos para completar tareas cotidianas. La Manipulación Móvil de Vocabulario Abierto (OVMM, por sus siglas en inglés) es el problema de recoger cualquier objeto en cualquier entorno no visto y colocarlo en una ubicación especificada. Este es un desafío fundamental para que los robots sean asistentes útiles en entornos humanos, ya que implica abordar subproblemas de diversas áreas de la robótica: la percepción, la comprensión del lenguaje, la navegación y la manipulación son todos esenciales para la OVMM. Además, la integración de las soluciones a estos subproblemas plantea sus propios desafíos significativos. Para impulsar la investigación en esta área, presentamos el benchmark OVMM de HomeRobot, donde un agente navega por entornos domésticos para agarrar objetos novedosos y colocarlos en receptáculos objetivo. HomeRobot tiene dos componentes: un componente de simulación, que utiliza un conjunto grande y diverso de objetos curados en nuevos entornos domésticos de alta calidad con múltiples habitaciones; y un componente del mundo real, que proporciona una pila de software para el robot de bajo costo Hello Robot Stretch, fomentando la replicación de experimentos en el mundo real en diferentes laboratorios. Implementamos líneas base tanto de aprendizaje por refuerzo como heurísticas (basadas en modelos) y mostramos evidencia de transferencia de simulación a realidad. Nuestras líneas base logran una tasa de éxito del 20% en el mundo real; nuestros experimentos identifican formas en que futuras investigaciones pueden mejorar el rendimiento. Vea los videos en nuestro sitio web: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.