SANeRF-HQ: 고품질 NeRF를 위한 세그멘테이션 애니씽

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

저자: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

초록

최근 Segment Anything Model(SAM)은 제로샷 세그멘테이션의 놀라운 능력을 보여주었고, NeRF(Neural Radiance Fields)는 새로운 시점 합성을 넘어 다양한 3D 문제를 해결하는 방법으로 인기를 얻고 있다. 이 두 방법을 3D 세그멘테이션에 통합하려는 초기 시도가 존재하지만, 복잡한 시나리오에서 객체를 정확하고 일관되게 세그멘테이션하는 데 어려움을 겪고 있다. 본 논문에서는 주어진 장면에서 모든 객체의 고품질 3D 세그멘테이션을 달성하기 위해 Segment Anything for NeRF in High Quality(SANeRF-HQ)를 소개한다. SANeRF-HQ는 사용자 제공 프롬프트에 의해 안내되는 개방형 세계 객체 세그멘테이션을 위해 SAM을 활용하고, 다양한 시점에서 정보를 집계하기 위해 NeRF를 활용한다. 앞서 언급한 문제를 극복하기 위해, 집계 과정에서 세그멘테이션 경계의 정확성을 높이기 위해 밀도 필드와 RGB 유사성을 사용한다. 세그멘테이션 정확성에 중점을 두어, 고품질의 실측 데이터가 제공되거나 수동으로 주석이 달린 여러 NeRF 데이터셋에서 본 방법을 정량적으로 평가한다. SANeRF-HQ는 이전의 최신 NeRF 객체 세그멘테이션 방법 대비 상당한 품질 개선을 보여주며, 객체 위치 지정에 더 높은 유연성을 제공하고, 여러 시점에서 더 일관된 객체 세그멘테이션을 가능하게 한다. 추가 정보는 https://lyclyc52.github.io/SANeRF-HQ/에서 확인할 수 있다.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.