Blended-NeRF: Null-Shot-Objektgenerierung und -Einbindung in bestehende Neuronale Strahlungsfelder

Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

June 22, 2023

Autoren: Ori Gordon, Omri Avrahami, Dani Lischinski

cs.AI

Zusammenfassung

Das Bearbeiten einer lokalen Region oder eines spezifischen Objekts in einer 3D-Szene, die durch ein NeRF dargestellt wird, ist aufgrund der impliziten Natur der Szenendarstellung eine Herausforderung. Die konsistente Einbindung eines neuen realistischen Objekts in die Szene erhöht die Schwierigkeit zusätzlich. Wir präsentieren Blended-NeRF, ein robustes und flexibles Framework zur Bearbeitung eines spezifischen Bereichs von Interesse in einer bestehenden NeRF-Szene, basierend auf Textprompts oder Bildausschnitten, zusammen mit einem 3D-ROI-Bereich. Unsere Methode nutzt ein vortrainiertes Sprach-Bild-Modell, um die Synthese in Richtung eines vom Benutzer bereitgestellten Textprompts oder Bildausschnitts zu steuern, sowie ein 3D-MLP-Modell, das auf einer bestehenden NeRF-Szene initialisiert ist, um das Objekt zu generieren und es in einen spezifizierten Bereich der ursprünglichen Szene einzubinden. Wir ermöglichen lokale Bearbeitungen, indem wir einen 3D-ROI-Bereich in der Eingabeszene lokalisieren und den innerhalb des ROI synthetisierten Inhalt nahtlos mit der bestehenden Szene mithilfe einer neuartigen volumetrischen Blending-Technik verbinden. Um natürlich aussehende und sichtkonsistente Ergebnisse zu erzielen, nutzen wir bestehende und neue geometrische Prioritäten sowie 3D-Augmentierungen, um die visuelle Qualität des Endergebnisses zu verbessern. Wir testen unser Framework sowohl qualitativ als auch quantitativ an einer Vielzahl realer 3D-Szenen und Textprompts und demonstrieren realistische, multi-view-konsistente Ergebnisse mit deutlich größerer Flexibilität und Vielfalt im Vergleich zu den Baselines. Schließlich zeigen wir die Anwendbarkeit unseres Frameworks für mehrere 3D-Bearbeitungsanwendungen, einschließlich dem Hinzufügen neuer Objekte zu einer Szene, dem Entfernen/Ersetzen/Verändern bestehender Objekte und der Texturkonvertierung.

English

Editing a local region or a specific object in a 3D scene represented by a NeRF is challenging, mainly due to the implicit nature of the scene representation. Consistently blending a new realistic object into the scene adds an additional level of difficulty. We present Blended-NeRF, a robust and flexible framework for editing a specific region of interest in an existing NeRF scene, based on text prompts or image patches, along with a 3D ROI box. Our method leverages a pretrained language-image model to steer the synthesis towards a user-provided text prompt or image patch, along with a 3D MLP model initialized on an existing NeRF scene to generate the object and blend it into a specified region in the original scene. We allow local editing by localizing a 3D ROI box in the input scene, and seamlessly blend the content synthesized inside the ROI with the existing scene using a novel volumetric blending technique. To obtain natural looking and view-consistent results, we leverage existing and new geometric priors and 3D augmentations for improving the visual fidelity of the final result. We test our framework both qualitatively and quantitatively on a variety of real 3D scenes and text prompts, demonstrating realistic multi-view consistent results with much flexibility and diversity compared to the baselines. Finally, we show the applicability of our framework for several 3D editing applications, including adding new objects to a scene, removing/replacing/altering existing objects, and texture conversion.