HomeRobot: Manipulação Móvel com Vocabulário Aberto

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Autores: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Resumo

HomeRobot (substantivo): Um robô acessível e flexível que navega em ambientes domésticos e manipula uma ampla variedade de objetos para realizar tarefas cotidianas. A Manipulação Móvel de Vocabulário Aberto (Open-Vocabulary Mobile Manipulation - OVMM) é o problema de pegar qualquer objeto em um ambiente desconhecido e colocá-lo em um local especificado. Este é um desafio fundamental para que os robôs se tornem assistentes úteis em ambientes humanos, pois envolve a resolução de subproblemas de diversas áreas da robótica: percepção, compreensão de linguagem, navegação e manipulação são todos essenciais para a OVMM. Além disso, a integração das soluções para esses subproblemas apresenta seus próprios desafios significativos. Para impulsionar a pesquisa nessa área, introduzimos o benchmark OVMM do HomeRobot, onde um agente navega por ambientes domésticos para agarrar objetos novos e colocá-los em recipientes-alvo. O HomeRobot possui dois componentes: um componente de simulação, que utiliza um conjunto grande e diversificado de objetos curados em novos ambientes domésticos de alta qualidade com vários cômodos; e um componente do mundo real, fornecendo uma pilha de software para o Hello Robot Stretch de baixo custo, incentivando a replicação de experimentos do mundo real em diferentes laboratórios. Implementamos tanto linhas de base de aprendizado por reforço quanto heurísticas (baseadas em modelos) e mostramos evidências de transferência sim-to-real. Nossas linhas de base alcançam uma taxa de sucesso de 20% no mundo real; nossos experimentos identificam maneiras pelas quais futuras pesquisas podem melhorar o desempenho. Veja os vídeos em nosso site: https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.