SAM 3D 바디: 강건한 전신 인간 메쉬 복원

초록

우리는 단일 이미지에서 전신 3D 인간 메쉬 복원(HMR)을 위한 프롬프트 가능 모델인 SAM 3D Body(3DB)를 소개한다. 3DB는 다양한 실제 환경에서 강력한 일반화 성능과 일관된 정확도를 바탕으로 최첨단 성능을 보여준다. 3DB는 신체, 발, 손의 인간 포즈를 추정한다. 이 모델은 골격 구조와 표면 형상을 분리하는 새로운 파라메트릭 메쉬 표현인 Momentum Human Rig(MHR)를 최초로 사용한다. 3DB는 인코더-디코더 아키텍처를 채택하며 2D 키포인트 및 마스크를 포함한 보조 프롬프트를 지원하여, SAM 모델 패밀리와 유사한 사용자 주도 추론을 가능하게 한다. 우리는 수동 키포인트 주석, 미분 가능 최적화, 다중 뷰 기하학, 밀집 키포인트 검출의 다양한 조합을 활용하는 다단계 주석 파이프라인으로부터 고품질 주석을 도출한다. 우리의 데이터 엔진은 데이터 다양성을 보장하기 위해 효율적으로 데이터를 선별 및 처리하며, 특이한 포즈와 희귀한 이미징 조건의 데이터를 수집한다. 우리는 포즈 및 외관 범주별로 구성된 새로운 평가 데이터셋을 제시하여 모델 동작에 대한 세분화된 분석을 가능하게 한다. 우리의 실험은 정성적 사용자 선호도 연구와 기존의 정량적 분석 모두에서 우수한 일반화 성능과 기존 방법 대비 상당한 개선을 입증한다. 3DB와 MHR은 모두 오픈소스로 제공된다.

English

We introduce SAM 3D Body (3DB), a promptable model for single-image full-body 3D human mesh recovery (HMR) that demonstrates state-of-the-art performance, with strong generalization and consistent accuracy in diverse in-the-wild conditions. 3DB estimates the human pose of the body, feet, and hands. It is the first model to use a new parametric mesh representation, Momentum Human Rig (MHR), which decouples skeletal structure and surface shape. 3DB employs an encoder-decoder architecture and supports auxiliary prompts, including 2D keypoints and masks, enabling user-guided inference similar to the SAM family of models. We derive high-quality annotations from a multi-stage annotation pipeline that uses various combinations of manual keypoint annotation, differentiable optimization, multi-view geometry, and dense keypoint detection. Our data engine efficiently selects and processes data to ensure data diversity, collecting unusual poses and rare imaging conditions. We present a new evaluation dataset organized by pose and appearance categories, enabling nuanced analysis of model behavior. Our experiments demonstrate superior generalization and substantial improvements over prior methods in both qualitative user preference studies and traditional quantitative analysis. Both 3DB and MHR are open-source.

SAM 3D 바디: 강건한 전신 인간 메쉬 복원

SAM 3D Body: Robust Full-Body Human Mesh Recovery

초록

Support