Generaliseerbare Mensachtige Manipulatie met Verbeterde 3D Diffusiebeleidsregels

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Auteurs: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Samenvatting

Humanoid robots die in staat zijn tot autonome werking in diverse omgevingen zijn al lang een doel voor robotici. Echter, autonome manipulatie door humanoïde robots is grotendeels beperkt gebleven tot één specifieke scène, voornamelijk vanwege de moeilijkheid om generaliseerbare vaardigheden te verwerven. Recente ontwikkelingen in 3D visuomotor beleidslijnen, zoals het 3D Diffusiebeleid (DP3), hebben belofte getoond in het uitbreiden van deze mogelijkheden naar wildere omgevingen. Echter, 3D visuomotor beleidslijnen vertrouwen vaak op camerakalibratie en puntwolksegmentatie, die uitdagingen met zich meebrengen voor implementatie op mobiele robots zoals humanoïden. In dit werk introduceren we het Verbeterde 3D Diffusiebeleid (iDP3), een nieuw 3D visuomotor beleid dat deze beperkingen elimineert door gebruik te maken van egocentrische 3D visuele representaties. We tonen aan dat iDP3 een levensgrote humanoïde robot in staat stelt om autonoom vaardigheden uit te voeren in diverse real-world scenario's, met alleen gegevens verzameld in het laboratorium. Video's zijn beschikbaar op: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io