SAM 3D Body: ロバストな全身ヒューマンメッシュ復元

要旨

我々はSAM 3D Body（3DB）を紹介する。これは単一画像からの全身3次元人体メッシュ回復（HMR）におけるプロンプト可能なモデルであり、野外環境下における強力な一般化性能と一貫した精度を実現し、最先端の性能を示す。3DBは身体、足、手の人間のポーズを推定する。本モデルは、骨格構造と表面形状を分離する新しいパラメトリックメッシュ表現であるMomentum Human Rig（MHR）を採用した初のモデルである。3DBはエンコーダ・デコーダ構造を採用し、2Dキーポイントやマスクなどの補助プロンプトをサポートし、SAMモデルファミリーと同様のユーザーガイド推論を可能にする。高品質なアノテーションは、手動キーポイント注釈、微分可能最適化、多視点幾何学、高密度キーポイント検出を様々に組み合わせた多段階アノテーションパイプラインから導出する。当社のデータエンジンはデータの多様性を確保するため、データを効率的に選択・処理し、特殊なポーズや稀な撮影条件のデータを収集する。ポーズと外観カテゴリーで整理された新しい評価データセットを提示し、モデル挙動の詳細な分析を可能にする。定性ユーザー選好調査と従来の定量分析の両方において、従来手法を大幅に上回る優れた一般化性能と改善を示す実験結果を得た。3DBとMHRはともにオープンソースである。

English

We introduce SAM 3D Body (3DB), a promptable model for single-image full-body 3D human mesh recovery (HMR) that demonstrates state-of-the-art performance, with strong generalization and consistent accuracy in diverse in-the-wild conditions. 3DB estimates the human pose of the body, feet, and hands. It is the first model to use a new parametric mesh representation, Momentum Human Rig (MHR), which decouples skeletal structure and surface shape. 3DB employs an encoder-decoder architecture and supports auxiliary prompts, including 2D keypoints and masks, enabling user-guided inference similar to the SAM family of models. We derive high-quality annotations from a multi-stage annotation pipeline that uses various combinations of manual keypoint annotation, differentiable optimization, multi-view geometry, and dense keypoint detection. Our data engine efficiently selects and processes data to ensure data diversity, collecting unusual poses and rare imaging conditions. We present a new evaluation dataset organized by pose and appearance categories, enabling nuanced analysis of model behavior. Our experiments demonstrate superior generalization and substantial improvements over prior methods in both qualitative user preference studies and traditional quantitative analysis. Both 3DB and MHR are open-source.

SAM 3D Body: ロバストな全身ヒューマンメッシュ復元

SAM 3D Body: Robust Full-Body Human Mesh Recovery

要旨

Support