SAM 3D Dier: Promptgestuurde 3D-reconstructie van dieren uit afbeeldingen in het wild

Samenvatting

3D-dierreconstructie in het wild blijft uitdagend vanwege grote variatie in soorten, frequente occlusies en de prevalentie van scènes met meerdere dieren, terwijl bestaande methoden zich voornamelijk richten op situaties met één dier. We presenteren SAM 3D Animal, het eerste promptbare raamwerk voor 3D-reconstructie van meerdere dieren vanuit een enkele afbeelding. Gebaseerd op het SMAL+ parametrische diermodel, reconstrueert onze methode gezamenlijk meerdere instanties en ondersteunt het flexibele prompts in de vorm van sleutelpunten en maskers, wat een betrouwbaardere disambiguatie in drukke en geoccludeerde scènes mogelijk maakt. Om zo'n model te trainen introduceren we verder Herd3D, een 3D-dataset met meerdere dieren die meer dan 5.000 afbeeldingen bevat, ontworpen om de diversiteit in soorten, interacties en occlusiepatronen te vergroten. Experimenten op de datasets Animal3D, APTv2 en Animal Kingdom tonen aan dat ons raamwerk state-of-the-art resultaten behaalt ten opzichte van zowel bestaande modelgebaseerde als modellozee methoden, wat een schaalbare en effectieve oplossing demonstreert voor promptgestuurde 3D-dierreconstructie in het wild.

English

3D animal reconstruction in the wild remains challenging due to large species variation, frequent occlusions, and the prevalence of multi-animal scenes, while existing methods predominantly focus on single-animal settings. We present SAM 3D Animal, the first promptable framework for multi-animal 3D reconstruction from a single image. Built on the SMAL+ parametric animal model, our method jointly reconstructs multiple instances and supports flexible prompts in the form of keypoints and masks which enable more reliable disambiguation in crowded and occluded scenes. To train such a model, we further introduce Herd3D, a multi-animal 3D dataset containing over 5K images, designed to increase diversity in species, interactions, and occlusion patterns. Experiments on the Animal3D, APTv2, and Animal Kingdom datasets show that our framework achieves state-of-the-art results over both existing model-based and model-free methods, demonstrating a scalable and effective solution for prompt-driven animal 3D reconstruction in the wild.