DPoser-X: 확산 모델 기반 강건한 3D 전신 인간 자세 사전
DPoser-X: Diffusion Model as Robust 3D Whole-body Human Pose Prior
August 1, 2025
저자: Junzhe Lu, Jing Lin, Hongkun Dou, Ailing Zeng, Yue Deng, Xian Liu, Zhongang Cai, Lei Yang, Yulun Zhang, Haoqian Wang, Ziwei Liu
cs.AI
초록
본 논문에서는 3D 전신 인체 자세를 위한 확산 기반 사전 모델인 DPoser-X를 제안한다. 관절형 인체 자세의 복잡성과 고품질 전신 자세 데이터셋의 부족으로 인해, 다재다능하고 견고한 전신 인체 자세 사전 모델을 구축하는 것은 여전히 어려운 과제로 남아 있다. 이러한 한계를 극복하기 위해, 우리는 확산 모델을 바탕으로 한 자세 사전 모델(Diffusion model as body Pose prior, DPoser)을 도입하고, 이를 표현력 있는 전신 인체 자세 모델링을 위한 DPoser-X로 확장하였다. 우리의 접근 방식은 다양한 자세 중심 작업을 역문제로 통합하고, 이를 변분 확산 샘플링을 통해 해결한다. 다운스트림 애플리케이션에서의 성능을 향상시키기 위해, 자세 데이터 특성에 맞춰 설계된 새로운 절단 시간 스케줄링 방법을 제안한다. 또한, 전신 및 부위별 데이터셋을 효과적으로 결합하는 마스크 훈련 메커니즘을 제안하여, 특정 동작에 과적합되는 것을 방지하면서도 신체 부위 간의 상호 의존성을 포착할 수 있도록 하였다. 다양한 벤치마크에서 수행된 광범위한 실험을 통해 DPoser-X가 신체, 손, 얼굴 및 전신 자세 모델링에 걸쳐 견고성과 다재다능성을 입증하였다. 우리의 모델은 최신 대안들을 일관되게 능가하며, 전신 인체 자세 사전 모델링에 대한 새로운 벤치마크를 확립하였다.
English
We present DPoser-X, a diffusion-based prior model for 3D whole-body human
poses. Building a versatile and robust full-body human pose prior remains
challenging due to the inherent complexity of articulated human poses and the
scarcity of high-quality whole-body pose datasets. To address these
limitations, we introduce a Diffusion model as body Pose prior (DPoser) and
extend it to DPoser-X for expressive whole-body human pose modeling. Our
approach unifies various pose-centric tasks as inverse problems, solving them
through variational diffusion sampling. To enhance performance on downstream
applications, we introduce a novel truncated timestep scheduling method
specifically designed for pose data characteristics. We also propose a masked
training mechanism that effectively combines whole-body and part-specific
datasets, enabling our model to capture interdependencies between body parts
while avoiding overfitting to specific actions. Extensive experiments
demonstrate DPoser-X's robustness and versatility across multiple benchmarks
for body, hand, face, and full-body pose modeling. Our model consistently
outperforms state-of-the-art alternatives, establishing a new benchmark for
whole-body human pose prior modeling.