HomeRobot: Manipolazione Mobile a Vocabolario Aperto

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Autori: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Abstract

HomeRobot (sostantivo): Un robot accessibile e adattabile che naviga nelle abitazioni e manipola una vasta gamma di oggetti per completare attività quotidiane. La Manipolazione Mobile a Vocabolario Aperto (Open-Vocabulary Mobile Manipulation, OVMM) è il problema di raccogliere qualsiasi oggetto in un ambiente non visto precedentemente e posizionarlo in una località specificata. Questa è una sfida fondamentale affinché i robot possano diventare assistenti utili negli ambienti umani, poiché implica affrontare sotto-problemi provenienti da vari ambiti della robotica: percezione, comprensione del linguaggio, navigazione e manipolazione sono tutti essenziali per l'OVMM. Inoltre, l'integrazione delle soluzioni a questi sotto-problemi presenta sfide significative. Per promuovere la ricerca in questo settore, introduciamo il benchmark HomeRobot OVMM, in cui un agente naviga in ambienti domestici per afferrare oggetti nuovi e posizionarli su ripiani target. HomeRobot è composto da due componenti: una componente di simulazione, che utilizza un ampio e diversificato set di oggetti curati in nuovi ambienti domestici multi-stanza di alta qualità; e una componente nel mondo reale, che fornisce uno stack software per il robot a basso costo Hello Robot Stretch, incoraggiando la replicazione di esperimenti reali tra i laboratori. Implementiamo sia baseline di apprendimento per rinforzo che euristici (basati su modello) e mostriamo evidenze di trasferimento da simulazione a realtà. Le nostre baseline raggiungono un tasso di successo del 20% nel mondo reale; i nostri esperimenti identificano modi in cui futuri lavori di ricerca potrebbero migliorare le prestazioni. Guarda i video sul nostro sito: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.