ReplaceAnything3D: Текстово-управляемое редактирование 3D-сцен с использованием композиционных нейронных полей излучения
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
January 31, 2024
Авторы: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao
cs.AI
Аннотация
Мы представляем модель ReplaceAnything3D (RAM3D) — новый метод редактирования 3D-сцен на основе текстовых описаний, который позволяет заменять определённые объекты в сцене. При наличии многовидовых изображений сцены, текстового описания объекта для замены и текстового описания нового объекта наш подход "Стереть и Заменить" эффективно заменяет объекты в сцене на вновь сгенерированное содержимое, сохраняя 3D-согласованность между различными точками обзора. Мы демонстрируем универсальность ReplaceAnything3D, применяя её к различным реалистичным 3D-сценам, показывая результаты модифицированных объектов переднего плана, которые гармонично интегрируются с остальной частью сцены, не нарушая её общей целостности.
English
We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene
editing method that enables the replacement of specific objects within a scene.
Given multi-view images of a scene, a text prompt describing the object to
replace, and a text prompt describing the new object, our Erase-and-Replace
approach can effectively swap objects in the scene with newly generated content
while maintaining 3D consistency across multiple viewpoints. We demonstrate the
versatility of ReplaceAnything3D by applying it to various realistic 3D scenes,
showcasing results of modified foreground objects that are well-integrated with
the rest of the scene without affecting its overall integrity.