GMT : Suivi Général du Mouvement pour le Controle Intégral du Corps des Humanoïdes

GMT: General Motion Tracking for Humanoid Whole-Body Control

June 17, 2025

Auteurs: Zixuan Chen, Mazeyu Ji, Xuxin Cheng, Xuanbin Peng, Xue Bin Peng, Xiaolong Wang

cs.AI

Résumé

La capacité à suivre les mouvements généraux du corps entier dans le monde réel est une approche utile pour développer des robots humanoïdes polyvalents. Cependant, atteindre cet objectif peut s’avérer difficile en raison de la diversité temporelle et cinématique des mouvements, des limites des politiques de contrôle et de la complexité de la coordination entre les parties supérieure et inférieure du corps. Pour résoudre ces problèmes, nous proposons GMT, un cadre général et évolutif de suivi des mouvements, qui entraîne une politique unifiée permettant aux robots humanoïdes de suivre une variété de mouvements dans le monde réel. GMT repose sur deux composants clés : une stratégie d’échantillonnage adaptatif et une architecture de mélange d’experts pour les mouvements (MoE). L’échantillonnage adaptatif équilibre automatiquement les mouvements faciles et difficiles pendant l’entraînement. Le MoE assure une meilleure spécialisation des différentes régions de la variété des mouvements. Nous démontrons, à travers des expériences approfondies en simulation et dans le monde réel, l’efficacité de GMT, qui atteint des performances de pointe sur un large spectre de mouvements en utilisant une politique générale unifiée. Des vidéos et des informations supplémentaires sont disponibles à l’adresse https://gmt-humanoid.github.io.

English

The ability to track general whole-body motions in the real world is a useful way to build general-purpose humanoid robots. However, achieving this can be challenging due to the temporal and kinematic diversity of the motions, the policy's capability, and the difficulty of coordination of the upper and lower bodies. To address these issues, we propose GMT, a general and scalable motion-tracking framework that trains a single unified policy to enable humanoid robots to track diverse motions in the real world. GMT is built upon two core components: an Adaptive Sampling strategy and a Motion Mixture-of-Experts (MoE) architecture. The Adaptive Sampling automatically balances easy and difficult motions during training. The MoE ensures better specialization of different regions of the motion manifold. We show through extensive experiments in both simulation and the real world the effectiveness of GMT, achieving state-of-the-art performance across a broad spectrum of motions using a unified general policy. Videos and additional information can be found at https://gmt-humanoid.github.io.