Mobile ALOHA: Aprendizaje de manipulación móvil bimanual con teleoperación de cuerpo completo de bajo costo

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Autores: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Resumen

El aprendizaje por imitación a partir de demostraciones humanas ha mostrado un rendimiento impresionante en robótica. Sin embargo, la mayoría de los resultados se centran en la manipulación sobre mesas, careciendo de la movilidad y destreza necesarias para tareas de utilidad general. En este trabajo, desarrollamos un sistema para imitar tareas de manipulación móvil que son bimanuales y requieren control de todo el cuerpo. Primero presentamos Mobile ALOHA, un sistema de teleoperación de bajo costo y de cuerpo completo para la recopilación de datos. Este sistema amplía ALOHA con una base móvil y una interfaz de teleoperación de cuerpo completo. Utilizando datos recopilados con Mobile ALOHA, realizamos clonación de comportamiento supervisada y encontramos que el entrenamiento conjunto con los conjuntos de datos estáticos existentes de ALOHA mejora el rendimiento en tareas de manipulación móvil. Con 50 demostraciones para cada tarea, el entrenamiento conjunto puede aumentar las tasas de éxito hasta en un 90%, permitiendo que Mobile ALOHA complete de manera autónoma tareas complejas de manipulación móvil, como saltear y servir un camarón, abrir un armario de pared de dos puertas para almacenar ollas pesadas, llamar y entrar a un ascensor, y enjuagar ligeramente una sartén usada con el grifo de la cocina. Sitio web del proyecto: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io