ReplaceAnything3D: Edição de Cenas 3D Orientada por Texto com Campos de Radiação Neural Composicionais
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Autores: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Resumo
Apresentamos o modelo ReplaceAnything3D (RAM3D), um método inovador de edição de cenas 3D guiado por texto que permite a substituição de objetos específicos dentro de uma cena. Dadas imagens de múltiplas perspectivas de uma cena, um prompt de texto descrevendo o objeto a ser substituído e um prompt de texto descrevendo o novo objeto, nossa abordagem de "Apagar e Substituir" pode efetivamente trocar objetos na cena por conteúdo recém-gerado, mantendo a consistência 3D em múltiplos pontos de vista. Demonstramos a versatilidade do ReplaceAnything3D aplicando-o a diversas cenas 3D realistas, exibindo resultados de objetos em primeiro plano modificados que estão bem integrados ao restante da cena sem afetar sua integridade geral.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.