Manipulação Humanóide Generalizável com Políticas de Difusão 3D Aprimoradas

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Autores: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Resumo

Robôs humanoides capazes de operação autônoma em ambientes diversos têm sido há muito tempo um objetivo para os roboticistas. No entanto, a manipulação autônoma por robôs humanoides tem sido amplamente restrita a uma cena específica, principalmente devido à dificuldade de adquirir habilidades generalizáveis. Avanços recentes em políticas visuomotoras 3D, como a Política de Difusão 3D (DP3), têm demonstrado promessa em estender essas capacidades para ambientes mais selvagens. No entanto, as políticas visuomotoras 3D frequentemente dependem da calibração da câmera e da segmentação de nuvem de pontos, o que apresenta desafios para implantação em robôs móveis como os humanoides. Neste trabalho, apresentamos a Política de Difusão 3D Melhorada (iDP3), uma nova política visuomotora 3D que elimina essas restrições ao alavancar representações visuais 3D egocêntricas. Demonstramos que o iDP3 permite que um robô humanoide em tamanho real execute autonomamente habilidades em diversos cenários do mundo real, usando apenas dados coletados no laboratório. Vídeos estão disponíveis em: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io