改善された3D拡散ポリシーによる汎用性のあるヒューマノイド操作

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

著者: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

要旨

多様な環境で自律運転が可能なヒューマノイドロボットは、長らくロボティクスの目標でした。しかしながら、ヒューマノイドロボットによる自律操作は、一般化可能なスキルを獲得する難しさから、主に特定のシーンに制限されてきました。最近の3D視覚モーターポリシー、例えば3Dディフュージョンポリシー（DP3）などの進歩により、これらの能力をより広範な環境に拡張する可能性が示されています。しかしながら、3D視覚モーターポリシーは、しばしばカメラキャリブレーションやポイントクラウドセグメンテーションに依存しており、これはヒューマノイドなどの移動ロボットに展開する際に課題を提起しています。本研究では、これらの制約を排除するために内観的3D視覚表現を活用する新しい3D視覚モーターポリシーである改良3Dディフュージョンポリシー（iDP3）を紹介します。iDP3により、ラボで収集されたデータのみを使用して、フルサイズのヒューマノイドロボットが多様な実世界シナリオでスキルを自律的に実行できることを示します。動画は以下でご覧いただけます：https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io