Manipulação Móvel Adaptativa para Objetos Articulados no Mundo Aberto

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Autores: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Resumo

A implantação de robôs em ambientes abertos e não estruturados, como residências, tem sido um problema de pesquisa de longa data. No entanto, os robôs são frequentemente estudados apenas em ambientes de laboratório controlados, e trabalhos anteriores em manipulação móvel são restritos a tarefas de pegar-mover-colocar, o que é, sem dúvida, apenas a ponta do iceberg nessa área. Neste artigo, apresentamos o Sistema de Manipulação Móvel em Mundo Aberto, uma abordagem de pilha completa para lidar com a operação realista de objetos articulados, como portas, armários, gavetas e geladeiras do mundo real, em ambientes abertos e não estruturados. O robô utiliza uma estrutura de aprendizado adaptativo para inicialmente aprender a partir de um pequeno conjunto de dados por meio de clonagem de comportamento, seguido por aprendizado a partir de prática online em novos objetos que estão fora da distribuição de treinamento. Também desenvolvemos uma plataforma de hardware de manipulação móvel de baixo custo, capaz de adaptação autônoma e segura em ambientes não estruturados, com um custo de aproximadamente 20.000 dólares. Em nossos experimentos, utilizamos 20 objetos articulados em 4 edifícios no campus da CMU. Com menos de uma hora de aprendizado online para cada objeto, o sistema foi capaz de aumentar a taxa de sucesso de 50% do pré-treinamento por clonagem de comportamento para 95% usando adaptação online. Resultados em vídeo estão disponíveis em https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/