ReplaceAnything3D: Tekstgestuurde 3D-scènebewerking met compositionele neurale stralingsvelden
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Auteurs: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Samenvatting
We introduceren het ReplaceAnything3D-model (RAM3D), een nieuwe tekstgestuurde methode voor het bewerken van 3D-scènes die het mogelijk maakt om specifieke objecten binnen een scène te vervangen. Gegeven multi-view afbeeldingen van een scène, een tekstprompt die het te vervangen object beschrijft, en een tekstprompt die het nieuwe object beschrijft, kan onze Erase-and-Replace-aanpak objecten in de scène effectief vervangen door nieuw gegenereerde inhoud, terwijl de 3D-consistentie over meerdere gezichtspunten behouden blijft. We demonstreren de veelzijdigheid van ReplaceAnything3D door het toe te passen op verschillende realistische 3D-scènes, waarbij we resultaten tonen van aangepaste voorgrondobjecten die goed geïntegreerd zijn met de rest van de scène zonder de algehele integriteit ervan aan te tasten.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.