Manipolazione umanoide generalizzabile con politiche di diffusione 3D migliorate.

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Autori: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Abstract

I robot umanoidi capaci di operare autonomamente in ambienti diversi sono da tempo un obiettivo per i ricercatori nel campo della robotica. Tuttavia, la manipolazione autonoma da parte dei robot umanoidi è stata principalmente limitata a una scena specifica, principalmente a causa della difficoltà nel acquisire competenze generalizzabili. Gli avanzamenti recenti nelle politiche visuomotorie 3D, come la Politica di Diffusione 3D (DP3), hanno mostrato promesse nel estendere tali capacità a ambienti più selvaggi. Tuttavia, le politiche visuomotorie 3D spesso dipendono dalla calibrazione della fotocamera e dalla segmentazione del cloud di punti, che presentano sfide per l'implementazione su robot mobili come i robot umanoidi. In questo lavoro, presentiamo la Politica di Diffusione 3D Migliorata (iDP3), una nuova politica visuomotoria 3D che elimina tali vincoli sfruttando rappresentazioni visive 3D egocentriche. Dimostriamo che iDP3 consente a un robot umanoide a grandezza naturale di eseguire autonomamente abilità in diversi scenari del mondo reale, utilizzando solo dati raccolti in laboratorio. I video sono disponibili su: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io