ReplaceAnything3D: Textgesteuerte 3D-Szenenbearbeitung mit kompositionellen neuronalen Strahlungsfeldern
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Autoren: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Zusammenfassung
Wir stellen das ReplaceAnything3D-Modell (RAM3D) vor, eine neuartige textgesteuerte Methode zur Bearbeitung von 3D-Szenen, die den Austausch spezifischer Objekte innerhalb einer Szene ermöglicht. Bei Eingabe von Mehransichtsbildern einer Szene, einem Textprompt, der das zu ersetzende Objekt beschreibt, und einem Textprompt, der das neue Objekt beschreibt, kann unser Erase-and-Replace-Ansatz Objekte in der Szene effektiv durch neu generierte Inhalte ersetzen, wobei die 3D-Konsistenz über mehrere Blickwinkel hinweg erhalten bleibt. Wir demonstrieren die Vielseitigkeit von ReplaceAnything3D, indem wir es auf verschiedene realistische 3D-Szenen anwenden und Ergebnisse zeigen, bei denen modifizierte Vordergrundobjekte nahtlos in den Rest der Szene integriert sind, ohne deren Gesamtintegrität zu beeinträchtigen.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.