Interactive3D: 인터랙티브 3D 생성으로 원하는 것을 창조하세요

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

저자: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

초록

3D 객체 생성은 상당한 발전을 이루며 높은 품질의 결과를 도출해 왔습니다. 그러나 정확한 사용자 제어를 달성하는 데는 미흡하여, 종종 사용자 기대에 부합하지 않는 결과를 내놓아 적용 가능성을 제한하고 있습니다. 사용자가 상상한 3D 객체를 생성하는 것은 현재의 생성 모델이 제공하는 제한된 상호작용 능력으로 인해 개념을 실현하는 데 상당한 어려움을 겪고 있습니다. 기존 방법은 주로 두 가지 접근 방식을 제공합니다: (i) 제한된 제어 가능성으로 텍스트 지시를 해석하거나, (ii) 2D 이미지에서 3D 객체를 재구성하는 것입니다. 이 두 방법 모두 2D 참조의 한계 내에서만 사용자 정의를 허용하며, 3D 변환 과정에서 원치 않는 아티팩트를 유발할 수 있어 직접적이고 다양한 3D 수정의 범위를 제한합니다. 본 연구에서는 사용자가 광범위한 3D 상호작용 능력을 통해 생성 과정을 정밀하게 제어할 수 있는 인터랙티브 3D 생성 프레임워크인 Interactive3D를 소개합니다. Interactive3D는 두 단계의 연속적인 구조로 구성되며, 각기 다른 3D 표현을 활용합니다. 첫 번째 단계에서는 Gaussian Splatting을 사용하여 사용자가 직접 상호작용할 수 있도록 하며, (i) 구성 요소 추가 및 제거, (ii) 변형 가능 및 고정 드래깅, (iii) 기하학적 변환, (iv) 의미론적 편집을 통해 중간 단계에서 생성 방향을 수정하고 안내할 수 있습니다. 이후 Gaussian splat은 InstantNGP로 변환됩니다. 두 번째 단계에서는 (v) 인터랙티브 해시 정제 모듈을 도입하여 세부 사항을 추가하고 기하학을 추출합니다. 우리의 실험 결과, Interactive3D는 3D 생성의 제어 가능성과 품질을 크게 향상시킴을 보여줍니다. 프로젝트 웹페이지는 https://interactive-3d.github.io/에서 확인할 수 있습니다.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.