ReplaceAnything3D: Edición de Escenas 3D Guiada por Texto con Campos de Radiación Neural Composicional
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Autores: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Resumen
Presentamos el modelo ReplaceAnything3D (RAM3D), un método novedoso de edición de escenas 3D guiado por texto que permite reemplazar objetos específicos dentro de una escena. Dadas imágenes multivista de una escena, un texto que describe el objeto a reemplazar y un texto que describe el nuevo objeto, nuestro enfoque de Borrar-y-Reemplazar puede intercambiar efectivamente objetos en la escena con contenido recién generado, manteniendo la consistencia 3D en múltiples puntos de vista. Demostramos la versatilidad de ReplaceAnything3D aplicándolo a diversas escenas 3D realistas, mostrando resultados de objetos en primer plano modificados que están bien integrados con el resto de la escena sin afectar su integridad general.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.