Repenser la segmentation à vocabulaire ouvert des champs de radiance dans l'espace 3D

Rethinking Open-Vocabulary Segmentation of Radiance Fields in 3D Space

August 14, 2024

Auteurs: Hyunjee Lee, Youngsik Yun, Jeongmin Bae, Seoha Kim, Youngjung Uh

cs.AI

Résumé

Comprendre la sémantique 3D d'une scène est un problème fondamental pour divers scénarios, tels que les agents incarnés. Bien que les NeRFs et les 3DGS excellent dans la synthèse de nouvelles vues, les méthodes précédentes pour comprendre leur sémantique se sont limitées à une compréhension 3D incomplète : leurs résultats de segmentation sont des masques 2D et leur supervision est ancrée sur des pixels 2D. Cet article revisite ce problème afin de parvenir à une meilleure compréhension 3D d'une scène modélisée par des NeRFs et des 3DGS, comme suit. 1) Nous supervisons directement les points 3D pour entraîner le champ d'encodage linguistique. Cela atteint une précision de pointe sans recourir à des encodages linguistiques multi-échelles. 2) Nous transférons le champ linguistique pré-entraîné aux 3DGS, atteignant ainsi la première vitesse de rendu en temps réel sans sacrifier le temps d'entraînement ou la précision. 3) Nous introduisons un protocole de requête et d'évaluation 3D pour évaluer conjointement la géométrie et la sémantique reconstruites. Le code, les points de contrôle et les annotations seront disponibles en ligne. Page du projet : https://hyunji12.github.io/Open3DRF

English

Understanding the 3D semantics of a scene is a fundamental problem for various scenarios such as embodied agents. While NeRFs and 3DGS excel at novel-view synthesis, previous methods for understanding their semantics have been limited to incomplete 3D understanding: their segmentation results are 2D masks and their supervision is anchored at 2D pixels. This paper revisits the problem set to pursue a better 3D understanding of a scene modeled by NeRFs and 3DGS as follows. 1) We directly supervise the 3D points to train the language embedding field. It achieves state-of-the-art accuracy without relying on multi-scale language embeddings. 2) We transfer the pre-trained language field to 3DGS, achieving the first real-time rendering speed without sacrificing training time or accuracy. 3) We introduce a 3D querying and evaluation protocol for assessing the reconstructed geometry and semantics together. Code, checkpoints, and annotations will be available online. Project page: https://hyunji12.github.io/Open3DRF