OASIS: От сбора данных в симуляции к реальной гуманоидной локо-манипуляции

Аннотация

Недавние успехи в области манипуляции роботами в значительной степени обусловлены обучением на основе крупномасштабных демонстраций. Однако для задач локомоции и манипуляции человекоподобных роботов существующие источники данных вынуждают идти на неудовлетворительный компромисс между качеством траекторий и масштабируемостью. Телеоперация в реальном мире обеспечивает траектории наивысшего качества, но требует выделенного физического пространства и длительных сбросов сцены. Симуляция предлагает альтернативный выход из этой дилеммы: она позволяет получать чистые данные, согласованные с телом робота, в масштабе без использования какого-либо физического оборудования. В данной статье мы предлагаем OASIS — фреймворк, основанный на данных симуляции для локомоции и манипуляции человекоподобных роботов. OASIS автоматически реконструирует реалистичные объектные активы из изображений реального мира с помощью 3D-генеративной модели. На основе этих активов траектории сначала собираются посредством телеоперации в симуляции, а затем на этапе постобработки дополняются в условиях разнообразных доменных рандомизаций. С использованием полученных симуляционных данных мы дополнительно разрабатываем иерархическую висуомоторную политику для локомоции и манипуляции человекоподобных роботов. Обширные эксперименты на реальном человекоподобном роботе показывают, что при нулевом переносе политика, обученная на наших симуляционных данных, достигает более высоких показателей успеха в большинстве задач по сравнению с политикой, обученной на данных телеоперации реального робота, что в значительной степени обусловлено широкими вариациями освещения и окружения, охватываемыми нашей симуляционной визуализацией, которые данные реального робота не способны захватить. Страница проекта доступна по адресу https://oasis-humanoid.github.io/.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.