SAM 3D Animal: プロンプト可能な野生画像からの動物の3D再構築

要旨

自然環境下での3次元動物再構築は、種の多様性、頻繁な遮蔽、多動物シーンの一般的な存在により依然として困難であり、既存の手法は主に単一動物設定に焦点を当てている。本稿では、単一画像からの多動物3次元再構築を可能にする初のプロンプト可能なフレームワーク「SAM 3D Animal」を提案する。SMAL+パラメトリック動物モデルに基づく本手法は、複数の個体を同時に再構築し、キーポイントおよびマスクの形で柔軟なプロンプトをサポートすることで、混雑した遮蔽シーンにおける信頼性の高い曖昧性解消を実現する。このようなモデルを訓練するために、種の多様性、相互作用、遮蔽パターンを拡充するよう設計された、5,000枚以上の画像を含む多動物3次元データセット「Herd3D」を新たに導入する。Animal3D、APTv2、Animal Kingdomデータセットでの実験により、本フレームワークは既存のモデルベースおよびモデルフリー手法を上回る最先端の結果を達成し、自然環境下でのプロンプト駆動型動物3次元再構築に対するスケーラブルで効果的なソリューションを示している。

English

3D animal reconstruction in the wild remains challenging due to large species variation, frequent occlusions, and the prevalence of multi-animal scenes, while existing methods predominantly focus on single-animal settings. We present SAM 3D Animal, the first promptable framework for multi-animal 3D reconstruction from a single image. Built on the SMAL+ parametric animal model, our method jointly reconstructs multiple instances and supports flexible prompts in the form of keypoints and masks which enable more reliable disambiguation in crowded and occluded scenes. To train such a model, we further introduce Herd3D, a multi-animal 3D dataset containing over 5K images, designed to increase diversity in species, interactions, and occlusion patterns. Experiments on the Animal3D, APTv2, and Animal Kingdom datasets show that our framework achieves state-of-the-art results over both existing model-based and model-free methods, demonstrating a scalable and effective solution for prompt-driven animal 3D reconstruction in the wild.