SANeRF-HQ: Segment Anything voor NeRF in Hoge Kwaliteit

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Auteurs: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Samenvatting

Onlangs heeft het Segment Anything Model (SAM) opmerkelijke mogelijkheden getoond voor zero-shot segmentatie, terwijl NeRF (Neural Radiance Fields) populair is geworden als methode voor diverse 3D-problemen die verder gaan dan nieuwe beeldweergave. Hoewel er initiële pogingen zijn gedaan om deze twee methoden te integreren in 3D-segmentatie, worden ze geconfronteerd met de uitdaging om objecten in complexe scenario's nauwkeurig en consistent te segmenteren. In dit artikel introduceren we Segment Anything for NeRF in High Quality (SANeRF-HQ) om hoogwaardige 3D-segmentatie van elk object in een gegeven scène te bereiken. SANeRF-HQ maakt gebruik van SAM voor open-wereld objectsegmentatie, geleid door door de gebruiker aangeleverde prompts, terwijl het NeRF benut om informatie uit verschillende gezichtspunten te aggregeren. Om de eerder genoemde uitdagingen te overwinnen, gebruiken we een dichtheidsveld en RGB-gelijkenis om de nauwkeurigheid van de segmentatiegrens tijdens de aggregatie te verbeteren. Met de nadruk op segmentatienauwkeurigheid evalueren we onze methode kwantitatief op meerdere NeRF-datasets waar hoogwaardige grondwaarheden beschikbaar zijn of handmatig zijn geannoteerd. SANeRF-HQ toont een aanzienlijke kwaliteitsverbetering ten opzichte van eerdere state-of-the-art methoden in NeRF-objectsegmentatie, biedt meer flexibiliteit voor objectlokalisatie en maakt consistentere objectsegmentatie over meerdere weergaven mogelijk. Aanvullende informatie is te vinden op https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.