HomeRobot: Мобильная манипуляция с открытым словарём

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Авторы: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Аннотация

HomeRobot (существительное): Доступный, гибкий робот, способный перемещаться по домам и манипулировать широким спектром объектов для выполнения повседневных задач. Open-Vocabulary Mobile Manipulation (OVMM) — это задача подбора любого объекта в неизвестной среде и его размещения в указанном месте. Это фундаментальная проблема для создания полезных роботов-помощников в человеческой среде, поскольку она включает решение подзадач из различных областей робототехники: восприятие, понимание языка, навигация и манипуляция — все они необходимы для OVMM. Кроме того, интеграция решений этих подзадач сама по себе представляет значительные трудности. Для стимулирования исследований в этой области мы представляем эталонный тест HomeRobot OVMM, в котором агент перемещается по домашней среде, чтобы захватывать новые объекты и размещать их на целевых поверхностях. HomeRobot состоит из двух компонентов: симуляционного, который использует большой и разнообразный набор объектов в новых, высококачественных многокомнатных домашних средах, и реального, предоставляющего программный стек для недорогого робота Hello Robot Stretch, чтобы способствовать воспроизведению экспериментов в реальном мире в различных лабораториях. Мы реализуем базовые подходы как на основе обучения с подкреплением, так и эвристические (модельные) и демонстрируем признаки переноса из симуляции в реальный мир. Наши базовые подходы достигают 20% успешности в реальном мире; наши эксперименты выявляют направления для улучшения производительности в будущих исследованиях. Видео доступны на нашем сайте: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.