단일 이미지로 3D 가우시안 편집

3D Gaussian Editing with A Single Image

August 14, 2024

저자: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

초록

현실 세계에서 촬영된 3D 장면의 모델링과 조작은 다양한 응용 프로그램에서 중요하며, 점점 더 많은 연구 관심을 끌고 있습니다. 편집에 대한 이전 연구는 3D 메쉬를 조작하여 흥미로운 결과를 얻었지만, 편집을 수행하기 위해 정확하게 재구성된 메쉬가 필요했기 때문에 3D 콘텐츠 생성에 제한이 있었습니다. 이 간극을 해결하기 위해 우리는 3D 가우시안 스플래팅을 기반으로 한 혁신적인 단일 이미지 주도 3D 장면 편집 접근 방식을 소개합니다. 이를 통해 2D 이미지 평면에서 콘텐츠를 직접 편집함으로써 직관적인 조작이 가능해집니다. 우리의 방법은 사용자 지정된 원본 장면의 시점에서 렌더링된 이미지의 편집된 버전과 일치하도록 3D 가우시안을 최적화하는 방법을 학습합니다. 긴 거리 객체 변형을 캡처하기 위해 3D 가우시안 스플래팅의 최적화 과정에 위치 손실을 도입하고, 재매개화를 통한 그래디언트 전파를 가능하게 합니다. 지정된 시점에서 렌더링할 때 가려진 3D 가우시안을 처리하기 위해 앵커 기반 구조를 구축하고, 장거리 변형을 처리하면서 구조적 안정성을 유지할 수 있는 고해상도 최적화 전략을 채택합니다. 더불어, 세밀한 모델링을 위해 비유연한 변형 영역을 적응적으로 식별하기 위한 혁신적인 마스킹 전략을 설계합니다. 광범위한 실험은 우리의 방법이 기하학적 세부 사항, 장거리 및 비유연한 변형을 처리하는 데 효과적임을 보여주며, 이전 방법과 비교하여 우수한 편집 유연성과 품질을 입증합니다.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.