ReplaceAnything3D : Édition de scènes 3D guidée par texte avec des champs de rayonnement neuronaux compositionnels
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Auteurs: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Résumé
Nous présentons le modèle ReplaceAnything3D (RAM3D), une nouvelle méthode d'édition de scènes 3D guidée par texte qui permet le remplacement d'objets spécifiques dans une scène. À partir d'images multi-vues d'une scène, d'une invite textuelle décrivant l'objet à remplacer et d'une invite textuelle décrivant le nouvel objet, notre approche « Effacer-et-Remplacer » permet d'échanger efficacement les objets de la scène avec un nouveau contenu généré, tout en maintenant une cohérence 3D à travers plusieurs points de vue. Nous démontrons la polyvalence de ReplaceAnything3D en l'appliquant à diverses scènes 3D réalistes, en présentant des résultats où les objets modifiés en premier plan s'intègrent harmonieusement avec le reste de la scène sans compromettre son intégrité globale.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.