HomeRobot: Open-Vocabulary Mobile Manipulation

Zusammenfassung

HomeRobot (Substantiv): Ein erschwinglicher, nachgiebiger Roboter, der sich in Haushalten bewegt und eine Vielzahl von Objekten manipuliert, um alltägliche Aufgaben zu erledigen. Open-Vocabulary Mobile Manipulation (OVMM) ist das Problem, beliebige Objekte in unbekannten Umgebungen zu greifen und an einen vorgegebenen Ort zu platzieren. Dies ist eine grundlegende Herausforderung, damit Roboter nützliche Assistenten in menschlichen Umgebungen sein können, da sie Teilprobleme aus verschiedenen Bereichen der Robotik umfasst: Wahrnehmung, Sprachverständnis, Navigation und Manipulation sind allesamt wesentlich für OVMM. Darüber hinaus stellt die Integration der Lösungen für diese Teilprobleme eigene erhebliche Herausforderungen dar. Um die Forschung in diesem Bereich voranzutreiben, führen wir den HomeRobot OVMM-Benchmark ein, bei dem ein Agent in häuslichen Umgebungen navigiert, um neuartige Objekte zu greifen und auf Zielbehältern abzulegen. HomeRobot besteht aus zwei Komponenten: einer Simulationskomponente, die einen großen und vielfältigen, kuratierten Objektsatz in neuen, hochwertigen Mehrraum-Wohnumgebungen verwendet; und einer realen Komponente, die einen Software-Stack für den kostengünstigen Hello Robot Stretch bereitstellt, um die Reproduktion realer Experimente in verschiedenen Laboren zu fördern. Wir implementieren sowohl Reinforcement-Learning- als auch heuristische (modellbasierte) Baselines und zeigen Hinweise auf Sim-to-Real-Transfer. Unsere Baselines erreichen eine Erfolgsquote von 20 % in der realen Welt; unsere Experimente identifizieren Möglichkeiten, wie zukünftige Forschungsarbeiten die Leistung verbessern können. Videos finden Sie auf unserer Website: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.