SANeRF-HQ: Segment Anything für NeRF in hoher Qualität

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Autoren: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Zusammenfassung

Kürzlich hat das Segment Anything Model (SAM) bemerkenswerte Fähigkeiten in der Zero-Shot-Segmentierung gezeigt, während NeRF (Neural Radiance Fields) als Methode für verschiedene 3D-Probleme jenseits der Neuansichtssynthese an Popularität gewonnen hat. Obwohl es bereits erste Versuche gibt, diese beiden Methoden in die 3D-Segmentierung zu integrieren, stehen sie vor der Herausforderung, Objekte in komplexen Szenarien präzise und konsistent zu segmentieren. In diesem Artikel stellen wir Segment Anything for NeRF in High Quality (SANeRF-HQ) vor, um eine hochwertige 3D-Segmentierung beliebiger Objekte in einer gegebenen Szene zu erreichen. SANeRF-HQ nutzt SAM für die Open-World-Objekterkennung, die durch benutzerdefinierte Eingaben gesteuert wird, während es NeRF einsetzt, um Informationen aus verschiedenen Blickwinkeln zu aggregieren. Um die genannten Herausforderungen zu bewältigen, verwenden wir Dichtefelder und RGB-Ähnlichkeit, um die Genauigkeit der Segmentierungsgrenze während der Aggregation zu verbessern. Mit einem Schwerpunkt auf der Segmentierungsgenauigkeit bewerten wir unsere Methode quantitativ anhand mehrerer NeRF-Datensätze, in denen hochwertige Ground-Truth-Daten verfügbar oder manuell annotiert sind. SANeRF-HQ zeigt eine signifikante Qualitätsverbesserung gegenüber bisherigen State-of-the-Art-Methoden in der NeRF-Objekterkennung, bietet eine höhere Flexibilität bei der Objektlokalisierung und ermöglicht eine konsistentere Objekterkennung über mehrere Ansichten hinweg. Weitere Informationen finden Sie unter https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.