SANeRF-HQ: Segmentar Qualquer Coisa para NeRF em Alta Qualidade

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Autores: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Resumo

Recentemente, o Segment Anything Model (SAM) demonstrou capacidades notáveis de segmentação zero-shot, enquanto o NeRF (Neural Radiance Fields) ganhou popularidade como um método para diversos problemas 3D além da síntese de novas visões. Embora existam tentativas iniciais de incorporar esses dois métodos na segmentação 3D, elas enfrentam o desafio de segmentar objetos de forma precisa e consistente em cenários complexos. Neste artigo, apresentamos o Segment Anything for NeRF in High Quality (SANeRF-HQ) para alcançar uma segmentação 3D de alta qualidade de qualquer objeto em uma cena dada. O SANeRF-HQ utiliza o SAM para segmentação de objetos em mundo aberto guiada por prompts fornecidos pelo usuário, enquanto aproveita o NeRF para agregar informações de diferentes pontos de vista. Para superar os desafios mencionados, empregamos o campo de densidade e a similaridade RGB para aprimorar a precisão do limite de segmentação durante a agregação. Com foco na precisão da segmentação, avaliamos nosso método quantitativamente em múltiplos conjuntos de dados NeRF onde ground-truths de alta qualidade estão disponíveis ou foram anotados manualmente. O SANeRF-HQ mostra uma melhoria significativa de qualidade em relação aos métodos state-of-the-art anteriores na segmentação de objetos em NeRF, oferece maior flexibilidade para localização de objetos e permite uma segmentação de objetos mais consistente em múltiplas visões. Informações adicionais podem ser encontradas em https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.