GMT: Monitoraggio Generale del Movimento per il Controllo Corporeo Totale degli Umanoidi

GMT: General Motion Tracking for Humanoid Whole-Body Control

June 17, 2025

Autori: Zixuan Chen, Mazeyu Ji, Xuxin Cheng, Xuanbin Peng, Xue Bin Peng, Xiaolong Wang

cs.AI

Abstract

La capacità di tracciare movimenti generali del corpo intero nel mondo reale rappresenta un approccio utile per costruire robot umanoidi a scopo generale. Tuttavia, raggiungere questo obiettivo può essere impegnativo a causa della diversità temporale e cinematica dei movimenti, delle capacità della politica di controllo e della difficoltà di coordinazione tra la parte superiore e inferiore del corpo. Per affrontare queste problematiche, proponiamo GMT, un framework scalabile e generale per il tracciamento dei movimenti, che addestra una singola politica unificata per consentire ai robot umanoidi di seguire una vasta gamma di movimenti nel mondo reale. GMT si basa su due componenti principali: una strategia di Campionamento Adattivo e un'architettura Motion Mixture-of-Experts (MoE). Il Campionamento Adattivo bilancia automaticamente movimenti semplici e complessi durante l'addestramento. La MoE garantisce una migliore specializzazione delle diverse regioni del manifold dei movimenti. Attraverso esperimenti estesi sia in simulazione che nel mondo reale, dimostriamo l'efficacia di GMT, raggiungendo prestazioni all'avanguardia su un ampio spettro di movimenti utilizzando una politica generale unificata. Video e ulteriori informazioni sono disponibili al seguente link: https://gmt-humanoid.github.io.

English

The ability to track general whole-body motions in the real world is a useful way to build general-purpose humanoid robots. However, achieving this can be challenging due to the temporal and kinematic diversity of the motions, the policy's capability, and the difficulty of coordination of the upper and lower bodies. To address these issues, we propose GMT, a general and scalable motion-tracking framework that trains a single unified policy to enable humanoid robots to track diverse motions in the real world. GMT is built upon two core components: an Adaptive Sampling strategy and a Motion Mixture-of-Experts (MoE) architecture. The Adaptive Sampling automatically balances easy and difficult motions during training. The MoE ensures better specialization of different regions of the motion manifold. We show through extensive experiments in both simulation and the real world the effectiveness of GMT, achieving state-of-the-art performance across a broad spectrum of motions using a unified general policy. Videos and additional information can be found at https://gmt-humanoid.github.io.