HumanTracker: 포괄적이고 인간 중심의 동작 추적 벤치마크를 지향하며

초록

휴머노이드 모션 트래킹은 원격 조작과 전신 모방의 핵심 요소이지만, 평가 결과는 종종 사람들이 영상에서 인지하는 바와 일치하지 않는다. 운동학적 오류는 프레임별 자세 차이를 평균화하지만, 가장 중요한 물리적 결함, 특히 불안정한 지지와 발 미끄러짐 및 잘못된 타이밍의 착지와 같은 부정확한 접촉을 놓친다. 한편, 널리 사용되는 테스트 스위트는 규모가 작고 접촉이 빈번하고 장기간에 걸친 행동을 평가하기에 필요한 다양성이 부족하다. 본 논문에서는 휴머노이드 트래킹 평가를 지각적으로 정렬되고 확장 가능하게 만드는 HumanTracker를 소개한다. HumanTracker 벤치마크는 여러 전문 퍼포머의 약 153시간 분량의 광학 모션 궤적을 포함하며, 세밀한 진단을 위한 텍스트 레이블과 함께 네 가지 동작 패밀리로 구성된다. 또한 24K 동작을 포함하는 12K 동작 쌍으로 훈련된 선호도 정렬 지표인 HumanScore를 제안한다. 대표적인 최신 트래커들에 대한 평가에서 HumanScore는 인간의 선호도를 더 잘 예측하며, 운동학적 지표가 종종 놓치는 접촉 및 안정성 실패를 드러낸다.

English

Humanoid motion tracking is central to teleoperation and whole-body imitation, yet evaluation often disagrees with what people perceive in videos. Kinematic errors average per-frame pose differences but miss the physical artifacts that matter most, particularly unstable support and incorrect contacts such as foot skating and mistimed touch-downs. Meanwhile, widely used test suites are small and lack the diversity needed to stress contact-rich, long-horizon behaviors. We introduce HumanTracker to make humanoid tracking evaluation both perceptually aligned and scalable. The HumanTracker benchmark contains approximately 153 hours of optical motion trajectories from multiple professional performers, organized into four motion families with text labels for fine-grained diagnosis. We further propose HumanScore, a preference-aligned metric trained on 12K motion pairs containing 24K motions. Across representative state-of-the-art trackers, HumanScore better predicts human preferences and reveals contact and stability failures that kinematic metrics often miss.