DEXOP：器用な人間の操作をロボットに転送するためのデバイス

要旨

本論文では、ロボットのデータ収集における新たなパラダイムである「perioperation」を紹介する。このパラダイムは、人間の操作をセンサー化して記録すると同時に、そのデータを実ロボットに最大限転移可能にすることを目指す。我々はこのパラダイムをDEXOPに実装した。DEXOPは、受動型ハンドエクソスケルトンであり、自然環境下での多様な巧緻操作タスクに対して、豊富な感覚（視覚＋触覚）データを収集するための人間の能力を最大化するように設計されている。DEXOPは人間の指とロボットの指を機械的に接続し、ユーザーに直接的な接触フィードバック（固有感覚を通じて）を提供し、人間の手の姿勢を受動型ロボットハンドに反映させることで、デモンストレーションされたスキルのロボットへの転移を最大化する。力覚フィードバックと姿勢の反映により、タスクのデモンストレーションはテレオペレーションと比較してより自然になり、速度と精度の両方が向上する。我々はDEXOPを様々な巧緻で接触の多いタスクにわたって評価し、高品質なデモンストレーションデータを大規模に収集する能力を実証した。DEXOPのデータを用いて学習したポリシーは、テレオペレーションと比較してデータ収集単位時間あたりのタスク性能を大幅に向上させ、DEXOPがロボットの巧緻性を進歩させるための強力なツールであることを示している。プロジェクトページはhttps://dex-op.github.ioにて公開されている。

English

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.

DEXOP：器用な人間の操作をロボットに転送するためのデバイス

DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

要旨

Support