Generalisierbare menschenähnliche Manipulation mit verbesserten 3D-Diffusionsrichtlinien

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Autoren: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Zusammenfassung

Humanoide Roboter, die autonom in verschiedenen Umgebungen agieren können, waren schon lange ein Ziel für Robotiker. Die autonome Manipulation durch humanoide Roboter war jedoch größtenteils auf eine spezifische Szene beschränkt, hauptsächlich aufgrund der Schwierigkeit, generalisierbare Fähigkeiten zu erlangen. Neueste Fortschritte in 3D-Visuomotor-Policies, wie der 3D Diffusion Policy (DP3), haben das Potenzial gezeigt, diese Fähigkeiten auf wildere Umgebungen auszudehnen. Allerdings stützen sich 3D-Visuomotor-Policies oft auf Kamerakalibrierung und Punktewolken-Segmentierung, was Herausforderungen für den Einsatz auf mobilen Robotern wie Humanoiden darstellt. In dieser Arbeit stellen wir die Verbesserte 3D Diffusion Policy (iDP3) vor, eine neuartige 3D-Visuomotor-Policy, die diese Einschränkungen durch die Nutzung egozentrischer 3D-Visuelle Darstellungen beseitigt. Wir zeigen, dass iDP3 einem lebensgroßen humanoiden Roboter ermöglicht, autonom Fähigkeiten in verschiedenen realen Szenarien auszuführen, unter Verwendung nur im Labor gesammelter Daten. Videos sind verfügbar unter: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io