Interactive3D : Créez ce que vous voulez grâce à la génération interactive 3D

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Auteurs: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Résumé

La génération d'objets 3D a connu des avancées significatives, produisant des résultats de haute qualité. Cependant, elle peine à offrir un contrôle précis à l'utilisateur, aboutissant souvent à des résultats qui ne correspondent pas aux attentes, limitant ainsi son applicabilité. La génération d'objets 3D selon la vision de l'utilisateur rencontre des défis majeurs pour concrétiser ses concepts avec les modèles génératifs actuels, en raison de capacités d'interaction limitées. Les méthodes existantes proposent principalement deux approches : (i) interpréter des instructions textuelles avec une contrôlabilité restreinte, ou (ii) reconstruire des objets 3D à partir d'images 2D. Ces deux approches limitent la personnalisation aux contraintes de la référence 2D et peuvent introduire des artefacts indésirables lors du processus de conversion en 3D, restreignant ainsi la possibilité de modifications 3D directes et polyvalentes. Dans ce travail, nous présentons Interactive3D, un cadre innovant pour la génération interactive 3D qui offre aux utilisateurs un contrôle précis sur le processus génératif grâce à des capacités d'interaction 3D étendues. Interactive3D est construit en deux étapes en cascade, utilisant des représentations 3D distinctes. La première étape emploie le Gaussian Splatting pour permettre une interaction directe avec l'utilisateur, autorisant des modifications et l'orientation de la direction générative à n'importe quelle étape intermédiaire via (i) l'ajout et la suppression de composants, (ii) le déplacement déformable et rigide, (iii) les transformations géométriques, et (iv) l'édition sémantique. Ensuite, les splats gaussiens sont transformés en InstantNGP. Nous introduisons un nouveau module de (v) Raffinement Interactif par Hachage pour ajouter davantage de détails et extraire la géométrie dans la deuxième étape. Nos expériences démontrent qu'Interactive3D améliore notablement la contrôlabilité et la qualité de la génération 3D. Notre page web de projet est disponible à l'adresse https://interactive-3d.github.io/.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.