OmniRetarget: Генерация данных с сохранением взаимодействий для локомоции и манипуляций гуманоидных роботов с учетом взаимодействия с окружением

OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

September 30, 2025

Авторы: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi

cs.AI

Аннотация

Доминирующей парадигмой для обучения человекоподобных роботов сложным навыкам является перепроецирование человеческих движений в качестве кинематических референсов для обучения политик с подкреплением (RL). Однако существующие методы перепроецирования часто сталкиваются с существенным разрывом в воплощении между человеком и роботом, что приводит к физически нереалистичным артефактам, таким как скольжение стоп и проникновение. Более того, распространенные методы перепроецирования игнорируют богатые взаимодействия человека с объектами и окружающей средой, которые необходимы для выразительной локомоции и локо-манипуляции. Для решения этой проблемы мы представляем OmniRetarget — механизм генерации данных, сохраняющий взаимодействия, основанный на сетке взаимодействий, которая явно моделирует и сохраняет ключевые пространственные и контактные отношения между агентом, поверхностью и манипулируемыми объектами. Минимизируя лапласову деформацию между сетками человека и робота при соблюдении кинематических ограничений, OmniRetarget генерирует кинематически выполнимые траектории. Кроме того, сохранение взаимодействий, важных для задачи, позволяет эффективно расширять данные — от одной демонстрации до различных воплощений роботов, поверхностей и конфигураций объектов. Мы всесторонне оцениваем OmniRetarget, перепроецируя движения из наборов данных OMOMO, LAFAN1 и нашего собственного MoCap, генерируя траектории длительностью более 8 часов, которые обеспечивают лучшее соблюдение кинематических ограничений и сохранение контактов по сравнению с широко используемыми базовыми методами. Такие высококачественные данные позволяют проприоцептивным политикам RL успешно выполнять долгосрочные (до 30 секунд) навыки паркура и локо-манипуляции на человекоподобном роботе Unitree G1, обученном всего с 5 терминами вознаграждения и простой доменной рандомизацией, общей для всех задач, без какого-либо учебного плана.

English

A dominant paradigm for teaching humanoid robots complex skills is to retarget human motions as kinematic references to train reinforcement learning (RL) policies. However, existing retargeting pipelines often struggle with the significant embodiment gap between humans and robots, producing physically implausible artifacts like foot-skating and penetration. More importantly, common retargeting methods neglect the rich human-object and human-environment interactions essential for expressive locomotion and loco-manipulation. To address this, we introduce OmniRetarget, an interaction-preserving data generation engine based on an interaction mesh that explicitly models and preserves the crucial spatial and contact relationships between an agent, the terrain, and manipulated objects. By minimizing the Laplacian deformation between the human and robot meshes while enforcing kinematic constraints, OmniRetarget generates kinematically feasible trajectories. Moreover, preserving task-relevant interactions enables efficient data augmentation, from a single demonstration to different robot embodiments, terrains, and object configurations. We comprehensively evaluate OmniRetarget by retargeting motions from OMOMO, LAFAN1, and our in-house MoCap datasets, generating over 8-hour trajectories that achieve better kinematic constraint satisfaction and contact preservation than widely used baselines. Such high-quality data enables proprioceptive RL policies to successfully execute long-horizon (up to 30 seconds) parkour and loco-manipulation skills on a Unitree G1 humanoid, trained with only 5 reward terms and simple domain randomization shared by all tasks, without any learning curriculum.