CyberDemo: 現実世界の器用な操作のためのシミュレーション人間デモンストレーションの拡張
CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation
February 22, 2024
著者: Jun Wang, Yuzhe Qin, Kaiming Kuang, Yigit Korkmaz, Akhilan Gurumoorthy, Hao Su, Xiaolong Wang
cs.AI
要旨
本論文では、実世界のタスクに対してシミュレーション環境における人間のデモンストレーションを活用する新しいロボット模倣学習手法「CyberDemo」を紹介します。シミュレーション環境での大規模なデータ拡張を組み込むことで、CyberDemoは実世界に転移した際に、従来の実世界ドメイン内のデモンストレーションを上回り、多様な物理的・視覚的条件に対応します。データ収集の経済性と利便性に加え、CyberDemoは様々なタスクにおいてベースライン手法を成功率で上回り、未見の物体に対する汎化性能も示します。例えば、人間のデモンストレーションが三方向バルブのみを含む場合でも、新規の四方向バルブや五方向バルブを回転させることができます。本研究は、実世界の器用な操作タスクにおけるシミュレーション環境での人間デモンストレーションの大きな可能性を示しています。詳細はhttps://cyber-demo.github.ioをご覧ください。
English
We introduce CyberDemo, a novel approach to robotic imitation learning that
leverages simulated human demonstrations for real-world tasks. By incorporating
extensive data augmentation in a simulated environment, CyberDemo outperforms
traditional in-domain real-world demonstrations when transferred to the real
world, handling diverse physical and visual conditions. Regardless of its
affordability and convenience in data collection, CyberDemo outperforms
baseline methods in terms of success rates across various tasks and exhibits
generalizability with previously unseen objects. For example, it can rotate
novel tetra-valve and penta-valve, despite human demonstrations only involving
tri-valves. Our research demonstrates the significant potential of simulated
human demonstrations for real-world dexterous manipulation tasks. More details
can be found at https://cyber-demo.github.io