HomeRobot: Open-Vocabulary Mobiele Manipulatie

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Auteurs: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Samenvatting

HomeRobot (zelfstandig naamwoord): Een betaalbare, meegaande robot die door woningen navigeert en een breed scala aan objecten manipuleert om alledaagse taken uit te voeren. Open-Vocabulary Mobile Manipulation (OVMM) is het probleem van het oppakken van elk object in een onbekende omgeving en het plaatsen ervan op een opgegeven locatie. Dit is een fundamentele uitdaging voor robots om nuttige assistenten te zijn in menselijke omgevingen, omdat het het aanpakken van deelproblemen uit verschillende domeinen van de robotica vereist: perceptie, taalbegrip, navigatie en manipulatie zijn allemaal essentieel voor OVMM. Bovendien brengt de integratie van de oplossingen voor deze deelproblemen zijn eigen aanzienlijke uitdagingen met zich mee. Om onderzoek op dit gebied te stimuleren, introduceren we de HomeRobot OVMM-benchmark, waarbij een agent door huishoudelijke omgevingen navigeert om nieuwe objecten te grijpen en ze op doelreceptacles te plaatsen. HomeRobot bestaat uit twee componenten: een simulatiecomponent, die gebruikmaakt van een grote en diverse verzameling objecten in nieuwe, hoogwaardige meerruimte woningomgevingen; en een real-world component, die een softwarestack biedt voor de goedkope Hello Robot Stretch om de replicatie van real-world experimenten tussen laboratoria aan te moedigen. We implementeren zowel reinforcement learning als heuristische (modelgebaseerde) basislijnen en tonen bewijs van sim-to-real transfer. Onze basislijnen behalen een slagingspercentage van 20% in de echte wereld; onze experimenten identificeren manieren waarop toekomstig onderzoek de prestaties kan verbeteren. Bekijk video's op onze website: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.