SANeRF-HQ: Segment Anything para NeRF en Alta Calidad

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Autores: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Resumen

Recientemente, el Segment Anything Model (SAM) ha demostrado capacidades notables en la segmentación zero-shot, mientras que NeRF (Neural Radiance Fields) ha ganado popularidad como un método para diversos problemas 3D más allá de la síntesis de nuevas vistas. Aunque existen intentos iniciales de incorporar estos dos métodos en la segmentación 3D, enfrentan el desafío de segmentar objetos de manera precisa y consistente en escenarios complejos. En este artículo, presentamos el Segment Anything for NeRF in High Quality (SANeRF-HQ) para lograr una segmentación 3D de alta calidad de cualquier objeto en una escena dada. SANeRF-HQ utiliza SAM para la segmentación de objetos en un mundo abierto guiada por indicaciones proporcionadas por el usuario, mientras aprovecha NeRF para agregar información desde diferentes puntos de vista. Para superar los desafíos mencionados, empleamos el campo de densidad y la similitud RGB para mejorar la precisión del límite de segmentación durante la agregación. Haciendo hincapié en la precisión de la segmentación, evaluamos cuantitativamente nuestro método en múltiples conjuntos de datos NeRF donde están disponibles o se han anotado manualmente verdades de alta calidad. SANeRF-HQ muestra una mejora significativa en la calidad sobre los métodos anteriores más avanzados en la segmentación de objetos NeRF, ofrece una mayor flexibilidad para la localización de objetos y permite una segmentación de objetos más consistente en múltiples vistas. Puede encontrar información adicional en https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.