SANeRF-HQ：高品質なNeRFのためのセグメンテーション技術

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

著者: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

要旨

最近、Segment Anything Model（SAM）はゼロショットセグメンテーションの驚異的な能力を示し、NeRF（Neural Radiance Fields）は新規視点合成を超えた様々な3D問題に対する手法として人気を集めています。これら2つの手法を3Dセグメンテーションに統合する初期の試みは存在するものの、複雑なシナリオでのオブジェクトの正確かつ一貫したセグメンテーションという課題に直面しています。本論文では、与えられたシーン内の任意のオブジェクトの高品質な3Dセグメンテーションを実現するため、Segment Anything for NeRF in High Quality（SANeRF-HQ）を提案します。SANeRF-HQは、ユーザーが提供するプロンプトに基づいてオープンワールドのオブジェクトセグメンテーションを行うためにSAMを活用し、異なる視点からの情報を集約するためにNeRFを利用します。前述の課題を克服するため、密度場とRGB類似性を活用して集約中のセグメンテーション境界の精度を向上させます。セグメンテーション精度を重視し、高品質なグラウンドトゥルースが利用可能または手動でアノテーションされた複数のNeRFデータセットにおいて、本手法を定量的に評価します。SANeRF-HQは、NeRFオブジェクトセグメンテーションにおける従来の最先端手法と比較して大幅な品質向上を示し、オブジェクトのローカライズに対する柔軟性を高め、複数の視点にわたるより一貫したオブジェクトセグメンテーションを可能にします。追加情報はhttps://lyclyc52.github.io/SANeRF-HQ/でご覧いただけます。

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.