Точное и ловкое роботизированное управление через обучение с подкреплением с человеком в петле.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Авторы: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Аннотация

Обучение с подкреплением (RL) обладает большим потенциалом для обеспечения автономного приобретения сложных навыков робототехнического манипулирования, однако реализация этого потенциала в реальных условиях представляет собой сложную задачу. Мы представляем систему обучения с подкреплением на основе зрительного восприятия с участием человека, которая демонстрирует впечатляющую производительность на разнообразном наборе задач ловкого манипулирования, включая динамическое манипулирование, точную сборку и координацию двух рук. Наш подход интегрирует демонстрации и коррекции со стороны человека, эффективные алгоритмы обучения с подкреплением и другие выборы на уровне системы для обучения стратегий, обеспечивающих практически идеальные показатели успешности и быстрые циклы обучения всего за 1–2,5 часа. Мы показываем, что наш метод значительно превосходит базовые методы обучения по подражанию и предыдущие подходы обучения с подкреплением, обеспечивая в среднем улучшение показателя успешности в 2 раза и выполнение в 1,8 раза быстрее. Через обширные эксперименты и анализ мы предоставляем понимание эффективности нашего подхода, демонстрируя, как он обучает надежные, адаптивные стратегии как для реактивного, так и для предсказательного управления. Наши результаты показывают, что обучение с подкреплением действительно способно обучать широкий спектр сложных стратегий зрительного манипулирования непосредственно в реальном мире в пределах приемлемых времен обучения. Мы надеемся, что данная работа вдохновит новое поколение изученных техник робототехнического манипулирования, принося пользу как промышленным приложениям, так и научным достижениям. Видео и код доступны на нашем веб-сайте проекта https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.