HERMES : Apprentissage incarné humain-robot à partir de données de mouvement multisources pour la manipulation mobile dextre

HERMES: Human-to-Robot Embodied Learning from Multi-Source Motion Data for Mobile Dexterous Manipulation

August 27, 2025

papers.authors: Zhecheng Yuan, Tianming Wei, Langzhe Gu, Pu Hua, Tianhai Liang, Yuanpei Chen, Huazhe Xu

cs.AI

papers.abstract

L'exploitation des données de mouvement humain pour doter les robots de compétences de manipulation polyvalentes est apparue comme un paradigme prometteur dans le domaine de la manipulation robotique. Cependant, la traduction des mouvements multi-sources de la main humaine en comportements robotiques réalisables reste un défi, en particulier pour les robots équipés de mains dextres multi-doigts caractérisées par des espaces d'action complexes et de haute dimension. De plus, les approches existantes peinent souvent à produire des politiques capables de s'adapter à des conditions environnementales variées. Dans cet article, nous présentons HERMES, un cadre d'apprentissage humain-robot pour la manipulation mobile bimanuelle dextre. Tout d'abord, HERMES formule une approche unifiée d'apprentissage par renforcement capable de transformer de manière fluide les mouvements hétérogènes de la main humaine provenant de multiples sources en comportements robotiques physiquement plausibles. Ensuite, pour atténuer l'écart sim2real, nous concevons une méthode de transfert sim2real basée sur des images de profondeur, de bout en bout, pour améliorer la généralisation aux scénarios réels. Par ailleurs, pour permettre un fonctionnement autonome dans des environnements variés et non structurés, nous enrichissons le modèle de base de navigation avec un mécanisme de localisation en boucle fermée Perspective-n-Point (PnP), assurant un alignement précis des objectifs visuels et reliant efficacement la navigation autonome à la manipulation dextre. Les résultats expérimentaux approfondis démontrent que HERMES présente de manière constante des comportements généralisables dans divers scénarios en conditions réelles, accomplissant avec succès de nombreuses tâches complexes de manipulation mobile bimanuelle dextre. Page du projet : https://gemcollector.github.io/HERMES/.

English

Leveraging human motion data to impart robots with versatile manipulation skills has emerged as a promising paradigm in robotic manipulation. Nevertheless, translating multi-source human hand motions into feasible robot behaviors remains challenging, particularly for robots equipped with multi-fingered dexterous hands characterized by complex, high-dimensional action spaces. Moreover, existing approaches often struggle to produce policies capable of adapting to diverse environmental conditions. In this paper, we introduce HERMES, a human-to-robot learning framework for mobile bimanual dexterous manipulation. First, HERMES formulates a unified reinforcement learning approach capable of seamlessly transforming heterogeneous human hand motions from multiple sources into physically plausible robotic behaviors. Subsequently, to mitigate the sim2real gap, we devise an end-to-end, depth image-based sim2real transfer method for improved generalization to real-world scenarios. Furthermore, to enable autonomous operation in varied and unstructured environments, we augment the navigation foundation model with a closed-loop Perspective-n-Point (PnP) localization mechanism, ensuring precise alignment of visual goals and effectively bridging autonomous navigation and dexterous manipulation. Extensive experimental results demonstrate that HERMES consistently exhibits generalizable behaviors across diverse, in-the-wild scenarios, successfully performing numerous complex mobile bimanual dexterous manipulation tasks. Project Page:https://gemcollector.github.io/HERMES/.