ReplaceAnything3D: 구성적 신경 방사 필드를 활용한 텍스트 기반 3D 장면 편집

초록

ReplaceAnything3D 모델(RAM3D)은 특정 객체를 장면 내에서 교체할 수 있는 새로운 텍스트 기반 3D 장면 편집 방법을 소개합니다. 다중 뷰 이미지, 교체할 객체를 설명하는 텍스트 프롬프트, 그리고 새로운 객체를 설명하는 텍스트 프롬프트가 주어졌을 때, 우리의 Erase-and-Replace 접근법은 새로 생성된 콘텐츠로 장면 내 객체를 효과적으로 교체하면서도 다중 시점에서의 3D 일관성을 유지합니다. ReplaceAnything3D의 다양성을 입증하기 위해 다양한 현실적인 3D 장면에 적용하여, 수정된 전경 객체가 장면의 전반적인 무결성에 영향을 주지 않으면서도 나머지 장면과 잘 통합된 결과를 보여줍니다.

English

We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene editing method that enables the replacement of specific objects within a scene. Given multi-view images of a scene, a text prompt describing the object to replace, and a text prompt describing the new object, our Erase-and-Replace approach can effectively swap objects in the scene with newly generated content while maintaining 3D consistency across multiple viewpoints. We demonstrate the versatility of ReplaceAnything3D by applying it to various realistic 3D scenes, showcasing results of modified foreground objects that are well-integrated with the rest of the scene without affecting its overall integrity.

ReplaceAnything3D: 구성적 신경 방사 필드를 활용한 텍스트 기반 3D 장면 편집

ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields

초록

Support