SANeRF-HQ : Segment Anything pour NeRF en Haute Qualité

SANeRF-HQ: Segment Anything for NeRF in High Quality

December 3, 2023

Auteurs: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai

cs.AI

Résumé

Récemment, le modèle Segment Anything (SAM) a démontré des capacités remarquables en segmentation zero-shot, tandis que NeRF (Neural Radiance Fields) a gagné en popularité comme méthode pour divers problèmes 3D au-delà de la synthèse de nouvelles vues. Bien qu'il existe des tentatives initiales pour intégrer ces deux méthodes dans la segmentation 3D, elles sont confrontées au défi de segmenter avec précision et cohérence des objets dans des scénarios complexes. Dans cet article, nous présentons Segment Anything for NeRF in High Quality (SANeRF-HQ) pour réaliser une segmentation 3D de haute qualité de tout objet dans une scène donnée. SANeRF-HQ utilise SAM pour la segmentation d'objets en monde ouvert guidée par des invites fournies par l'utilisateur, tout en exploitant NeRF pour agréger les informations provenant de différents points de vue. Pour surmonter les défis mentionnés, nous utilisons le champ de densité et la similarité RGB pour améliorer la précision des limites de segmentation lors de l'agrégation. En mettant l'accent sur la précision de la segmentation, nous évaluons quantitativement notre méthode sur plusieurs ensembles de données NeRF où des vérités terrain de haute qualité sont disponibles ou annotées manuellement. SANeRF-HQ montre une amélioration significative de la qualité par rapport aux méthodes précédentes de pointe en segmentation d'objets NeRF, offre une plus grande flexibilité pour la localisation des objets et permet une segmentation d'objets plus cohérente à travers plusieurs vues. Des informations supplémentaires sont disponibles à l'adresse https://lyclyc52.github.io/SANeRF-HQ/.

English

Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.