Mobile ALOHA: Aprendizado de Manipulação Bimanual Móvel com Teleoperação de Baixo Custo para o Corpo Inteiro

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Autores: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Resumo

O aprendizado por imitação a partir de demonstrações humanas tem demonstrado desempenho impressionante em robótica. No entanto, a maioria dos resultados se concentra em manipulação em superfícies de mesa, carecendo da mobilidade e destreza necessárias para tarefas de utilidade geral. Neste trabalho, desenvolvemos um sistema para imitar tarefas de manipulação móvel que são bimanuais e exigem controle de todo o corpo. Primeiro, apresentamos o Mobile ALOHA, um sistema de teleoperação de baixo custo e controle de todo o corpo para coleta de dados. Ele amplia o sistema ALOHA com uma base móvel e uma interface de teleoperação de todo o corpo. Usando dados coletados com o Mobile ALOHA, realizamos clonagem de comportamento supervisionada e descobrimos que o co-treinamento com conjuntos de dados estáticos existentes do ALOHA melhora o desempenho em tarefas de manipulação móvel. Com 50 demonstrações para cada tarefa, o co-treinamento pode aumentar as taxas de sucesso em até 90%, permitindo que o Mobile ALOHA complete autonomamente tarefas complexas de manipulação móvel, como refogar e servir um camarão, abrir um armário de parede com duas portas para armazenar panelas pesadas, chamar e entrar em um elevador, e enxaguar levemente uma panela usada com uma torneira de cozinha. Site do projeto: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io