SANeRF-HQ: Segment Anything per NeRF in Alta Qualità

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Autori: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Abstract

Recentemente, il Segment Anything Model (SAM) ha dimostrato capacità eccezionali nella segmentazione zero-shot, mentre NeRF (Neural Radiance Fields) ha guadagnato popolarità come metodo per vari problemi 3D oltre alla sintesi di nuove viste. Sebbene esistano tentativi iniziali di integrare questi due metodi nella segmentazione 3D, essi affrontano la sfida di segmentare oggetti in modo accurato e coerente in scenari complessi. In questo articolo, introduciamo il Segment Anything for NeRF in High Quality (SANeRF-HQ) per ottenere una segmentazione 3D di alta qualità di qualsiasi oggetto in una scena data. SANeRF-HQ utilizza SAM per la segmentazione di oggetti in un contesto aperto guidata da prompt forniti dall'utente, sfruttando al contempo NeRF per aggregare informazioni da diverse prospettive. Per superare le sfide menzionate, impieghiamo il campo di densità e la similarità RGB per migliorare l'accuratezza del confine di segmentazione durante l'aggregazione. Concentrandoci sull'accuratezza della segmentazione, valutiamo il nostro metodo quantitativamente su più dataset NeRF dove sono disponibili o annotati manualmente ground-truth di alta qualità. SANeRF-HQ mostra un significativo miglioramento della qualità rispetto ai precedenti metodi all'avanguardia nella segmentazione di oggetti NeRF, offre una maggiore flessibilità per la localizzazione degli oggetti e consente una segmentazione più coerente degli oggetti attraverso più viste. Ulteriori informazioni sono disponibili all'indirizzo https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.