Обобщаемое человекоподобное управление с улучшенными политиками трехмерной диффузии

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Авторы: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Аннотация

Гуманоидные роботы, способные к автономной работе в различных средах, давно являются целью для робототехников. Однако автономное управление гуманоидными роботами в основном ограничивалось одной конкретной сценой, в основном из-за сложности приобретения обобщенных навыков. Недавние достижения в 3D визуомоторных политиках, таких как 3D Политика Диффузии (DP3), показали перспективы в расширении этих возможностей на более сложные среды. Однако 3D визуомоторные политики часто зависят от калибровки камеры и сегментации облака точек, что создает проблемы для применения на мобильных роботах, таких как гуманоиды. В данной работе мы представляем Улучшенную 3D Политику Диффузии (iDP3), новую 3D визуомоторную политику, которая устраняет эти ограничения, используя эгоцентрические 3D визуальные представления. Мы демонстрируем, что iDP3 позволяет полноразмерному гуманоидному роботу автономно выполнять навыки в различных реальных сценариях, используя только данные, собранные в лаборатории. Видео доступны по ссылке: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io