TIP-Editor: 텍스트 프롬프트와 이미지 프롬프트를 모두 따르는 정확한 3D 편집기

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

저자: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

초록

텍스트 기반 3D 장면 편집은 편리성과 사용자 친화성으로 인해 상당한 주목을 받고 있다. 그러나 기존 방법들은 텍스트 설명의 본질적인 한계로 인해 편집 결과의 세부적인 외관과 위치를 정확하게 제어하는 데 어려움을 겪고 있다. 이를 해결하기 위해, 본 연구에서는 텍스트와 이미지 프롬프트, 그리고 편집 영역을 지정하기 위한 3D 경계 상자를 모두 입력으로 받는 3D 장면 편집 프레임워크인 TIP-Editor를 제안한다. 이미지 프롬프트를 통해 사용자는 텍스트 설명을 보완하여 대상 콘텐츠의 세부적인 외관/스타일을 편리하게 지정할 수 있으며, 이를 통해 외관을 정확하게 제어할 수 있다. 구체적으로, TIP-Editor는 기존 장면과 참조 이미지의 표현을 더 잘 학습하기 위해 단계적 2D 개인화 전략을 채택하며, 이 과정에서 경계 상자로 지정된 위치에 객체를 정확하게 배치하도록 유도하는 위치 지정 손실을 제안한다. 또한, TIP-Editor는 명시적이고 유연한 3D 가우시안 스플래팅을 3D 표현으로 활용하여 배경을 변경하지 않고도 지역적 편집을 용이하게 한다. 다양한 실험을 통해 TIP-Editor가 지정된 경계 상자 영역 내에서 텍스트와 이미지 프롬프트에 따라 정확한 편집을 수행하며, 편집 품질과 프롬프트 정렬 측면에서 정성적 및 정량적으로 기준 방법들을 일관되게 능가함을 입증하였다.

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.