ReplaceAnything3D: Modifica di Scene 3D Guidata da Testo con Campi di Radianza Neurale Composizionali
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Autori: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Abstract
Presentiamo il modello ReplaceAnything3D (RAM3D), un innovativo metodo di editing di scene 3D guidato da testo che consente la sostituzione di oggetti specifici all'interno di una scena. Dati immagini multi-vista di una scena, un prompt di testo che descrive l'oggetto da sostituire e un prompt di testo che descrive il nuovo oggetto, il nostro approccio "Cancella e Sostituisci" può scambiare efficacemente gli oggetti nella scena con contenuti appena generati, mantenendo la coerenza 3D attraverso più punti di vista. Dimostriamo la versatilità di ReplaceAnything3D applicandolo a varie scene 3D realistiche, mostrando risultati di oggetti in primo piano modificati che si integrano bene con il resto della scena senza comprometterne l'integrità complessiva.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.