Manipulação Robótica Precisa e Hábil por meio de Aprendizado por Reforço com Interação Humana.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Autores: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Resumo

A aprendizagem por reforço (RL) tem grande potencial para permitir a aquisição autônoma de habilidades complexas de manipulação robótica, mas realizar esse potencial em ambientes do mundo real tem sido desafiador. Apresentamos um sistema de RL baseado em visão com interação humana que demonstra um desempenho impressionante em uma variedade de tarefas de manipulação habilidosa, incluindo manipulação dinâmica, montagem de precisão e coordenação de dois braços. Nossa abordagem integra demonstrações e correções humanas, algoritmos eficientes de RL e outras escolhas de design em nível de sistema para aprender políticas que alcançam taxas de sucesso quase perfeitas e tempos de ciclo rápidos em apenas 1 a 2,5 horas de treinamento. Mostramos que nosso método supera significativamente as bases de aprendizagem por imitação e abordagens anteriores de RL, com uma melhoria média de 2x na taxa de sucesso e execução 1,8x mais rápida. Através de experimentos extensivos e análises, fornecemos insights sobre a eficácia de nossa abordagem, demonstrando como ela aprende políticas robustas e adaptativas para estratégias de controle reativo e preditivo. Nossos resultados sugerem que o RL pode de fato aprender uma ampla gama de políticas complexas de manipulação baseadas em visão diretamente no mundo real dentro de tempos de treinamento práticos. Esperamos que este trabalho inspire uma nova geração de técnicas de manipulação robótica aprendidas, beneficiando tanto aplicações industriais quanto avanços na pesquisa. Vídeos e código estão disponíveis em nosso site do projeto https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.