3DitScene: 언어 기반 분리 가능 가우시안 스플래팅을 통한 모든 장면 편집

3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting

May 28, 2024

저자: Qihang Zhang, Yinghao Xu, Chaoyang Wang, Hsin-Ying Lee, Gordon Wetzstein, Bolei Zhou, Ceyuan Yang

cs.AI

초록

장면 이미지 편집은 엔터테인먼트, 사진, 광고 디자인에 있어 매우 중요합니다. 기존 방법들은 2D 개별 객체 또는 3D 전역 장면 편집에만 초점을 맞추고 있어, 다양한 세분화 수준에서 3D 수준의 장면을 효과적으로 제어하고 조작할 수 있는 통합된 접근 방식이 부족합니다. 본 연구에서는 언어 기반 분리된 가우시안 스플래팅을 활용하여 2D에서 3D로의 원활한 편집을 가능하게 하고, 장면 구성과 개별 객체에 대한 정밀한 제어를 허용하는 새로운 통합 장면 편집 프레임워크인 3DitScene을 제안합니다. 먼저, 생성적 사전 지식과 최적화 기술을 통해 개선된 3D 가우시안을 통합합니다. CLIP의 언어 특징은 객체 분리를 위해 3D 기하학에 의미를 도입합니다. 분리된 가우시안을 통해 3DitScene은 전역 및 개별 수준에서의 조작을 허용하며, 창의적 표현을 혁신하고 장면과 객체에 대한 제어를 강화합니다. 실험 결과는 3DitScene의 장면 이미지 편집에서의 효과성과 다양성을 입증합니다. 코드와 온라인 데모는 프로젝트 홈페이지(https://zqh0253.github.io/3DitScene/)에서 확인할 수 있습니다.

English

Scene image editing is crucial for entertainment, photography, and advertising design. Existing methods solely focus on either 2D individual object or 3D global scene editing. This results in a lack of a unified approach to effectively control and manipulate scenes at the 3D level with different levels of granularity. In this work, we propose 3DitScene, a novel and unified scene editing framework leveraging language-guided disentangled Gaussian Splatting that enables seamless editing from 2D to 3D, allowing precise control over scene composition and individual objects. We first incorporate 3D Gaussians that are refined through generative priors and optimization techniques. Language features from CLIP then introduce semantics into 3D geometry for object disentanglement. With the disentangled Gaussians, 3DitScene allows for manipulation at both the global and individual levels, revolutionizing creative expression and empowering control over scenes and objects. Experimental results demonstrate the effectiveness and versatility of 3DitScene in scene image editing. Code and online demo can be found at our project homepage: https://zqh0253.github.io/3DitScene/.