GMT: Allgemeine Bewegungserfassung für die Ganzkörpersteuerung humanoider Roboter

GMT: General Motion Tracking for Humanoid Whole-Body Control

June 17, 2025

Autoren: Zixuan Chen, Mazeyu Ji, Xuxin Cheng, Xuanbin Peng, Xue Bin Peng, Xiaolong Wang

cs.AI

Zusammenfassung

Die Fähigkeit, allgemeine Ganzkörperbewegungen in der realen Welt zu verfolgen, ist eine nützliche Methode, um universell einsetzbare humanoide Roboter zu entwickeln. Die Umsetzung dieser Fähigkeit kann jedoch aufgrund der zeitlichen und kinematischen Vielfalt der Bewegungen, der Leistungsfähigkeit der Steuerungspolitik und der Schwierigkeit der Koordination von Ober- und Unterkörper herausfordernd sein. Um diese Probleme zu lösen, schlagen wir GMT vor, ein allgemeines und skalierbares Framework zur Bewegungserfassung, das eine einzige, vereinheitlichte Steuerungspolitik trainiert, um humanoide Roboter in die Lage zu versetzen, diverse Bewegungen in der realen Welt zu verfolgen. GMT basiert auf zwei Kernkomponenten: einer adaptiven Sampling-Strategie und einer Motion Mixture-of-Experts (MoE)-Architektur. Die adaptive Sampling-Strategie gleicht während des Trainings automatisch einfache und schwierige Bewegungen aus. Die MoE-Architektur gewährleistet eine bessere Spezialisierung verschiedener Bereiche des Bewegungsmanifolds. Wir zeigen durch umfangreiche Experimente sowohl in der Simulation als auch in der realen Welt die Wirksamkeit von GMT, das mit einer einheitlichen, allgemeinen Steuerungspolitik Spitzenleistungen über ein breites Spektrum von Bewegungen erzielt. Videos und weitere Informationen sind unter https://gmt-humanoid.github.io verfügbar.

English

The ability to track general whole-body motions in the real world is a useful way to build general-purpose humanoid robots. However, achieving this can be challenging due to the temporal and kinematic diversity of the motions, the policy's capability, and the difficulty of coordination of the upper and lower bodies. To address these issues, we propose GMT, a general and scalable motion-tracking framework that trains a single unified policy to enable humanoid robots to track diverse motions in the real world. GMT is built upon two core components: an Adaptive Sampling strategy and a Motion Mixture-of-Experts (MoE) architecture. The Adaptive Sampling automatically balances easy and difficult motions during training. The MoE ensures better specialization of different regions of the motion manifold. We show through extensive experiments in both simulation and the real world the effectiveness of GMT, achieving state-of-the-art performance across a broad spectrum of motions using a unified general policy. Videos and additional information can be found at https://gmt-humanoid.github.io.