Manipulation humanoïde généralisable avec des politiques de diffusion 3D améliorées

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Auteurs: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Résumé

Les robots humanoïdes capables de fonctionner de manière autonome dans des environnements divers sont depuis longtemps un objectif pour les roboticiens. Cependant, la manipulation autonome par des robots humanoïdes a largement été limitée à une scène spécifique, principalement en raison de la difficulté d'acquérir des compétences généralisables. Les récentes avancées dans les politiques visuomotrices 3D, telles que la Politique de Diffusion 3D (DP3), ont montré des promesses pour étendre ces capacités à des environnements plus sauvages. Cependant, les politiques visuomotrices 3D reposent souvent sur l'étalonnage de la caméra et la segmentation du nuage de points, ce qui pose des défis pour le déploiement sur des robots mobiles tels que les humanoïdes. Dans ce travail, nous introduisons la Politique de Diffusion 3D Améliorée (iDP3), une nouvelle politique visuomotrice 3D qui élimine ces contraintes en exploitant des représentations visuelles 3D égocentriques. Nous démontrons que iDP3 permet à un robot humanoïde de taille réelle d'effectuer de manière autonome des compétences dans divers scénarios du monde réel, en utilisant uniquement des données collectées en laboratoire. Des vidéos sont disponibles sur : https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io