SAM-Body4D: 비디오 기반 학습 없이 구현하는 4D 인체 메쉬 복원

초록

인간 메쉬 복원(HMR)은 2D 관측으로부터 3D 인간 자세와 형태를 재구성하는 것을 목표로 하며, 현실 세계 시나리오에서 인간 중심 이해의 기초를 이룹니다. SAM 3D Body와 같은 최근의 이미지 기반 HMR 방법은 야외 이미지에서 강력한 견고성을 달성하지만, 비디오에 적용할 때 프레임 단위 추론에 의존하여 시간적 불일치와 폐색 상황에서 성능 저하를 초래합니다. 우리는 비디오의 내재된 인간 연속성을 활용하여 추가 학습 없이 이러한 문제를 해결합니다. 우리는 비디오로부터 시간적으로 일관되고 폐색에 강건한 HMR을 위한 학습 불필요 프레임워크인 SAM-Body4D를 제안합니다. 우리는 먼저 프롬프트 가능한 비디오 분할 모델을 사용하여 신원 일관성 있는 마스클릿을 생성한 다음, 폐색 인식 모듈로 정제하여 손실된 영역을 복원합니다. 정제된 마스클릿은 SAM 3D Body가 일관된 전신 메쉬 궤적을 생성하도록 유도하는 한편, 패딩 기반 병렬 전략을 통해 효율적인 다중 인간 추론을 가능하게 합니다. 실험 결과는 SAM-Body4D가 어떠한 재학습 없이도 도전적인 야외 비디오에서 향상된 시간적 안정성과 견고성을 달성함을 보여줍니다. 우리의 코드와 데모는 https://github.com/gaomingqi/sam-body4d에서 확인할 수 있습니다.

English

Human Mesh Recovery (HMR) aims to reconstruct 3D human pose and shape from 2D observations and is fundamental to human-centric understanding in real-world scenarios. While recent image-based HMR methods such as SAM 3D Body achieve strong robustness on in-the-wild images, they rely on per-frame inference when applied to videos, leading to temporal inconsistency and degraded performance under occlusions. We address these issues without extra training by leveraging the inherent human continuity in videos. We propose SAM-Body4D, a training-free framework for temporally consistent and occlusion-robust HMR from videos. We first generate identity-consistent masklets using a promptable video segmentation model, then refine them with an Occlusion-Aware module to recover missing regions. The refined masklets guide SAM 3D Body to produce consistent full-body mesh trajectories, while a padding-based parallel strategy enables efficient multi-human inference. Experimental results demonstrate that SAM-Body4D achieves improved temporal stability and robustness in challenging in-the-wild videos, without any retraining. Our code and demo are available at: https://github.com/gaomingqi/sam-body4d.

SAM-Body4D: 비디오 기반 학습 없이 구현하는 4D 인체 메쉬 복원

SAM-Body4D: Training-Free 4D Human Body Mesh Recovery from Videos

초록

Support