GMT: Algemene Bewegingsvolging voor Holistische Lichaamsbesturing van Humanoïden

GMT: General Motion Tracking for Humanoid Whole-Body Control

June 17, 2025

Auteurs: Zixuan Chen, Mazeyu Ji, Xuxin Cheng, Xuanbin Peng, Xue Bin Peng, Xiaolong Wang

cs.AI

Samenvatting

Het vermogen om algemene lichaamsbewegingen in de echte wereld te volgen, is een nuttige manier om algemene humanoïde robots te ontwikkelen. Het bereiken hiervan kan echter uitdagend zijn vanwege de temporele en kinematische diversiteit van de bewegingen, de capaciteit van het beleid en de moeilijkheid van de coördinatie tussen het boven- en onderlichaam. Om deze problemen aan te pakken, stellen wij GMT voor, een algemeen en schaalbaar bewegingsvolgsysteem dat een enkel geïntegreerd beleid traint om humanoïde robots in staat te stellen diverse bewegingen in de echte wereld te volgen. GMT is gebaseerd op twee kerncomponenten: een Adaptieve Steekproefstrategie en een Motion Mixture-of-Experts (MoE)-architectuur. De Adaptieve Steekproefstrategie balanceert automatisch eenvoudige en moeilijke bewegingen tijdens de training. De MoE zorgt voor een betere specialisatie van verschillende regio's van het bewegingsmanifold. Wij tonen door middel van uitgebreide experimenten in zowel simulatie als de echte wereld de effectiviteit van GMT aan, waarbij state-of-the-art prestaties worden behaald over een breed spectrum van bewegingen met behulp van een verenigd algemeen beleid. Video's en aanvullende informatie zijn te vinden op https://gmt-humanoid.github.io.

English

The ability to track general whole-body motions in the real world is a useful way to build general-purpose humanoid robots. However, achieving this can be challenging due to the temporal and kinematic diversity of the motions, the policy's capability, and the difficulty of coordination of the upper and lower bodies. To address these issues, we propose GMT, a general and scalable motion-tracking framework that trains a single unified policy to enable humanoid robots to track diverse motions in the real world. GMT is built upon two core components: an Adaptive Sampling strategy and a Motion Mixture-of-Experts (MoE) architecture. The Adaptive Sampling automatically balances easy and difficult motions during training. The MoE ensures better specialization of different regions of the motion manifold. We show through extensive experiments in both simulation and the real world the effectiveness of GMT, achieving state-of-the-art performance across a broad spectrum of motions using a unified general policy. Videos and additional information can be found at https://gmt-humanoid.github.io.