ロボットに手を貸す：手元カメラを用いた人間の動作デモンストレーションによる汎用的な操作学習

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

著者: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

要旨

ハンドインカメラは、視覚に基づくロボット操作において、サンプル効率と汎化性能の向上に有望な成果を示しています。しかし、ロボットによる模倣学習において、人間のテレオペレータが実機を用いて大量の専門家によるデモンストレーションを収集するのは依然としてコストがかかります。一方で、人間がタスクを実行する動画は、ロボットのテレオペレーションに関する専門知識を必要とせず、さまざまなシナリオで迅速に収集できるため、はるかに低コストです。したがって、人間の動画デモンストレーションは、スケーラブルな汎用ロボット操作ポリシーを学習するための有望なデータソースです。本研究では、限定的なロボット模倣データセットを、広範なラベルなし人間動画デモンストレーションで拡張し、ハンドインカメラを用いた視覚運動ポリシーの汎化性能を大幅に向上させます。人間とロボットのデータ間には明確な視覚領域のギャップが存在しますが、本フレームワークでは、ハンドインカメラの部分的な観測可能性とシンプルな固定画像マスキング手法を活用するため、明示的なドメイン適応手法を必要としません。3自由度および6自由度のロボットアーム制御を含む8つの実世界タスクにおいて、本手法はハンドインカメラ操作ポリシーの成功率を平均58%（絶対値）向上させ、ロボットが新しい環境設定やロボットデモンストレーションデータに含まれない新しいタスクに汎化することを可能にします。動画結果はhttps://giving-robots-a-hand.github.io/ でご覧いただけます。

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .