ヒューマン・イン・ザ・ループ強化学習を通じた精密かつ緻密なロボット操作

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

著者: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

要旨

強化学習（RL）は、複雑なロボット操作スキルの自律獲得を可能にするという大きな約束を持っていますが、この潜在能力を実世界の環境で実現することは難しい課題でした。私たちは、人間と連携したビジョンベースのRLシステムを提案し、動的操作、精密組み立て、およびデュアルアームの協調を含む多様な繊細な操作タスクにおいて印象的なパフォーマンスを示しています。私たちのアプローチは、デモンストレーションと人間による修正、効率的なRLアルゴリズム、および他のシステムレベルの設計選択を統合し、わずか1〜2.5時間のトレーニングでほぼ完璧な成功率と高速なサイクルタイムを達成するポリシーを学習します。私たちの手法が模倣学習のベースラインと従来のRL手法を大幅に上回ることを示し、成功率で平均2倍の改善と1.8倍の高速な実行を達成します。幅広い実験と分析を通じて、私たちの手法の有効性についての洞察を提供し、リアクティブおよび予測制御戦略のために堅牢で適応可能なポリシーを学習する方法を示しています。私たちの結果は、RLが実際の訓練時間内に実世界で直接多様な複雑なビジョンベースの操作ポリシーを学習できることを示唆しています。この研究が新しい学習されたロボット操作技術の世代をインスパイアし、産業応用と研究の進歩の両方に利益をもたらすことを願っています。ビデオとコードは、弊社のプロジェクトウェブサイトhttps://hil-serl.github.io/で入手できます。

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.