HomeRobot: 오픈-보커뷸러리 모바일 매니퓰레이션

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

저자: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

초록

HomeRobot (명사): 가정 내에서 이동하며 다양한 물체를 조작하여 일상적인 작업을 완료할 수 있는 경제적이고 유연한 로봇. Open-Vocabulary Mobile Manipulation (OVMM)은 보지 못한 환경에서 어떤 물체든 선택하여 명령된 위치에 놓는 문제를 다룹니다. 이는 로봇이 인간 환경에서 유용한 조력자가 되기 위한 핵심 과제로, 로보틱스 전반의 하위 문제를 해결해야 합니다: 인지, 언어 이해, 탐색, 조작은 모두 OVMM에 필수적입니다. 또한, 이러한 하위 문제에 대한 해결책을 통합하는 것 자체도 상당한 도전 과제입니다. 이 분야의 연구를 촉진하기 위해, 우리는 HomeRobot OVMM 벤치마크를 소개합니다. 이 벤치마크에서는 에이전트가 가정 환경을 탐색하여 새로운 물체를 잡고 목표 수납 공간에 놓는 작업을 수행합니다. HomeRobot은 두 가지 구성 요소로 이루어져 있습니다: 첫째, 시뮬레이션 구성 요소로, 새로운 고품질의 다중 방 가정 환경에서 크고 다양한 물체 세트를 사용합니다. 둘째, 실제 세계 구성 요소로, 저비용 Hello Robot Stretch를 위한 소프트웨어 스택을 제공하여 실험실 간 실제 실험의 재현을 촉진합니다. 우리는 강화 학습과 휴리스틱(모델 기반) 베이스라인을 구현하고 시뮬레이션에서 실제로의 전이(sim-to-real transfer) 증거를 보여줍니다. 우리의 베이스라인은 실제 세계에서 20%의 성공률을 달성하며, 실험을 통해 향후 연구가 성능을 개선할 수 있는 방법을 확인했습니다. 자세한 내용은 웹사이트에서 확인하세요: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.