Manipulación Robótica Precisa y Diestra a través del Aprendizaje por Refuerzo con Humanos en el Bucle

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Autores: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Resumen

El aprendizaje por refuerzo (RL) promete habilitar la adquisición autónoma de habilidades complejas de manipulación robótica, pero materializar este potencial en entornos del mundo real ha sido desafiante. Presentamos un sistema de RL basado en visión humano-en-el-bucle que muestra un rendimiento impresionante en una amplia gama de tareas de manipulación hábil, incluyendo manipulación dinámica, ensamblaje de precisión y coordinación de brazos duales. Nuestro enfoque integra demostraciones y correcciones humanas, algoritmos eficientes de RL y otras decisiones de diseño a nivel de sistema para aprender políticas que logran tasas de éxito casi perfectas y tiempos de ciclo rápidos en solo 1 a 2.5 horas de entrenamiento. Mostramos que nuestro método supera significativamente a los baselines de aprendizaje por imitación y enfoques de RL anteriores, con una mejora promedio del 2x en la tasa de éxito y una ejecución 1.8x más rápida. A través de experimentos extensos y análisis, proporcionamos ideas sobre la efectividad de nuestro enfoque, demostrando cómo aprende políticas robustas y adaptables tanto para estrategias de control reactivas como predictivas. Nuestros resultados sugieren que el RL puede realmente aprender una amplia gama de políticas de manipulación basadas en visión directamente en el mundo real en tiempos de entrenamiento prácticos. Esperamos que este trabajo inspire una nueva generación de técnicas de manipulación robótica aprendidas, beneficiando tanto a aplicaciones industriales como a avances en la investigación. Los videos y el código están disponibles en nuestro sitio web del proyecto https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.