SAM 3D Animal: 야생 이미지로부터 프롬프트 기반 동물 3D 재구성

초록

야생 환경에서의 3D 동물 재구성은 큰 종 다양성, 빈번한 폐색, 그리고 다중 동물 장면의 보편성으로 인해 여전히 어려운 과제로 남아 있으며, 기존 방법들은 주로 단일 동물 환경에 초점을 맞추고 있다. 본 논문에서는 단일 이미지로부터 다중 동물의 3D 재구성을 위한 최초의 프롬프트 가능한 프레임워크인 SAM 3D Animal을 제안한다. SMAL+ 매개변수 동물 모델을 기반으로 하는 본 방법은 여러 객체를 공동으로 재구성하며, 키포인트 및 마스크 형태의 유연한 프롬프트를 지원하여 혼잡하고 폐색된 장면에서 보다 신뢰성 있는 모호성 해소를 가능하게 한다. 이러한 모델을 학습시키기 위해, 종, 상호작용 및 폐색 패턴의 다양성을 높이도록 설계된 5,000장 이상의 이미지를 포함하는 다중 동물 3D 데이터셋 Herd3D를 추가로 소개한다. Animal3D, APTv2 및 Animal Kingdom 데이터셋에 대한 실험 결과, 본 프레임워크는 기존 모델 기반 및 모델 프리 방법 모두에서 최신 최고 성능을 달성하여, 야생 환경에서의 프롬프트 기반 동물 3D 재구성을 위한 확장 가능하고 효과적인 솔루션을 입증한다.

English

3D animal reconstruction in the wild remains challenging due to large species variation, frequent occlusions, and the prevalence of multi-animal scenes, while existing methods predominantly focus on single-animal settings. We present SAM 3D Animal, the first promptable framework for multi-animal 3D reconstruction from a single image. Built on the SMAL+ parametric animal model, our method jointly reconstructs multiple instances and supports flexible prompts in the form of keypoints and masks which enable more reliable disambiguation in crowded and occluded scenes. To train such a model, we further introduce Herd3D, a multi-animal 3D dataset containing over 5K images, designed to increase diversity in species, interactions, and occlusion patterns. Experiments on the Animal3D, APTv2, and Animal Kingdom datasets show that our framework achieves state-of-the-art results over both existing model-based and model-free methods, demonstrating a scalable and effective solution for prompt-driven animal 3D reconstruction in the wild.