Interactive3D: Crea ciò che vuoi con la generazione interattiva di contenuti 3D

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Autori: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Abstract

La generazione di oggetti 3D ha subito progressi significativi, producendo risultati di alta qualità. Tuttavia, non riesce a raggiungere un controllo preciso da parte dell'utente, spesso generando risultati che non si allineano alle aspettative dell'utente, limitando così la loro applicabilità. La generazione di oggetti 3D basata sulla visione dell'utente affronta sfide significative nel realizzare i suoi concetti utilizzando i modelli generativi attuali a causa delle limitate capacità di interazione. I metodi esistenti offrono principalmente due approcci: (i) interpretare istruzioni testuali con una controllabilità limitata, o (ii) ricostruire oggetti 3D da immagini 2D. Entrambi limitano la personalizzazione ai confini del riferimento 2D e possono introdurre artefatti indesiderati durante il processo di sollevamento 3D, restringendo la possibilità di modifiche 3D dirette e versatili. In questo lavoro, introduciamo Interactive3D, un framework innovativo per la generazione interattiva di oggetti 3D che conferisce agli utenti un controllo preciso sul processo generativo attraverso ampie capacità di interazione 3D. Interactive3D è strutturato in due fasi a cascata, utilizzando rappresentazioni 3D distinte. La prima fase impiega il Gaussian Splatting per l'interazione diretta dell'utente, consentendo modifiche e guida della direzione generativa in qualsiasi fase intermedia attraverso (i) Aggiunta e Rimozione di componenti, (ii) Trascinamento Deformabile e Rigido, (iii) Trasformazioni Geometriche e (iv) Modifica Semantica. Successivamente, i Gaussian splats vengono trasformati in InstantNGP. Introduciamo un nuovo modulo (v) Interactive Hash Refinement per aggiungere ulteriori dettagli ed estrarre la geometria nella seconda fase. I nostri esperimenti dimostrano che Interactive3D migliora notevolmente la controllabilità e la qualità della generazione 3D. La pagina web del nostro progetto è disponibile all'indirizzo https://interactive-3d.github.io/.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.