GMT: 휴머노이드 전신 제어를 위한 일반적 동작 추적

초록

실제 세계에서 일반적인 전신 동작을 추적할 수 있는 능력은 범용 휴머노이드 로봇을 구축하는 데 유용한 방법입니다. 그러나 이를 달성하는 것은 동작의 시간적 및 운동학적 다양성, 정책의 능력, 그리고 상체와 하체의 조정 어려움으로 인해 도전적일 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 GMT라는 일반적이고 확장 가능한 동작 추적 프레임워크를 제안합니다. GMT는 단일 통합 정책을 훈련시켜 휴머노이드 로봇이 실제 세계에서 다양한 동작을 추적할 수 있도록 합니다. GMT는 두 가지 핵심 구성 요소인 적응형 샘플링 전략과 동작 전문가 혼합(Motion Mixture-of-Experts, MoE) 아키텍처를 기반으로 구축되었습니다. 적응형 샘플링은 훈련 중 쉬운 동작과 어려운 동작을 자동으로 균형 있게 조정합니다. MoE는 동작 다양체의 다른 영역에 대한 더 나은 전문화를 보장합니다. 우리는 시뮬레이션과 실제 세계에서의 광범위한 실험을 통해 GMT의 효과를 입증하며, 통합된 일반 정책을 사용하여 다양한 동작에 걸쳐 최첨단 성능을 달성합니다. 비디오 및 추가 정보는 https://gmt-humanoid.github.io에서 확인할 수 있습니다.

English

The ability to track general whole-body motions in the real world is a useful way to build general-purpose humanoid robots. However, achieving this can be challenging due to the temporal and kinematic diversity of the motions, the policy's capability, and the difficulty of coordination of the upper and lower bodies. To address these issues, we propose GMT, a general and scalable motion-tracking framework that trains a single unified policy to enable humanoid robots to track diverse motions in the real world. GMT is built upon two core components: an Adaptive Sampling strategy and a Motion Mixture-of-Experts (MoE) architecture. The Adaptive Sampling automatically balances easy and difficult motions during training. The MoE ensures better specialization of different regions of the motion manifold. We show through extensive experiments in both simulation and the real world the effectiveness of GMT, achieving state-of-the-art performance across a broad spectrum of motions using a unified general policy. Videos and additional information can be found at https://gmt-humanoid.github.io.

GMT: 휴머노이드 전신 제어를 위한 일반적 동작 추적

GMT: General Motion Tracking for Humanoid Whole-Body Control

초록

Support