SANeRF-HQ: Сегментация чего угодно для NeRF в высоком качестве

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Авторы: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Аннотация

Недавно модель Segment Anything Model (SAM) продемонстрировала впечатляющие возможности в задаче сегментации с нулевым обучением, в то время как NeRF (Neural Radiance Fields) приобрела популярность как метод для решения различных 3D-задач, выходящих за рамки синтеза новых ракурсов. Хотя уже предпринимались попытки объединить эти два метода для 3D-сегментации, они сталкиваются с трудностями в точном и согласованном выделении объектов в сложных сценах. В данной работе мы представляем метод Segment Anything for NeRF in High Quality (SANeRF-HQ), предназначенный для высококачественной 3D-сегментации любого объекта в заданной сцене. SANeRF-HQ использует SAM для сегментации объектов в открытом мире на основе пользовательских подсказок, одновременно применяя NeRF для агрегации информации с различных точек зрения. Для преодоления упомянутых трудностей мы используем поле плотности и сходство RGB для повышения точности границ сегментации в процессе агрегации. Акцентируя внимание на точности сегментации, мы количественно оцениваем наш метод на нескольких наборах данных NeRF, где доступны высококачественные эталонные данные или они были вручную аннотированы. SANeRF-HQ демонстрирует значительное улучшение качества по сравнению с предыдущими передовыми методами в сегментации объектов NeRF, обеспечивает большую гибкость в локализации объектов и позволяет добиться более согласованной сегментации объектов на нескольких ракурсах. Дополнительная информация доступна по адресу https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.