Interactive3D: Creëer Wat Je Wilt door Interactieve 3D-generatie

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Auteurs: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Samenvatting

3D-objectgeneratie heeft aanzienlijke vooruitgang geboekt, wat heeft geleid tot hoogwaardige resultaten. Deze methoden schieten echter tekort in het bieden van precieze gebruikerscontrole, wat vaak resulteert in uitkomsten die niet overeenkomen met de verwachtingen van gebruikers, waardoor hun toepasbaarheid beperkt blijft. Het realiseren van door gebruikers bedachte 3D-objecten vormt een grote uitdaging met de huidige generatieve modellen vanwege beperkte interactiemogelijkheden. Bestaande methoden bieden voornamelijk twee benaderingen: (i) het interpreteren van tekstuele instructies met beperkte aanpasbaarheid, of (ii) het reconstrueren van 3D-objecten vanuit 2D-afbeeldingen. Beide methoden beperken de aanpassingsmogelijkheden tot de grenzen van de 2D-referentie en kunnen ongewenste artefacten introduceren tijdens het 3D-liftproces, wat de mogelijkheden voor directe en veelzijdige 3D-aanpassingen beperkt. In dit werk introduceren we Interactive3D, een innovatief raamwerk voor interactieve 3D-generatie dat gebruikers precieze controle biedt over het generatieve proces door middel van uitgebreide 3D-interactiemogelijkheden. Interactive3D is opgebouwd in twee opeenvolgende fasen, waarbij gebruik wordt gemaakt van verschillende 3D-representaties. De eerste fase maakt gebruik van Gaussian Splatting voor directe gebruikersinteractie, waardoor aanpassingen en sturing van de generatieve richting mogelijk zijn op elk tussenliggend stap via (i) Toevoegen en Verwijderen van componenten, (ii) Vervormbaar en Rigid Slepen, (iii) Geometrische Transformaties, en (iv) Semantisch Bewerken. Vervolgens worden de Gaussian splats omgezet in InstantNGP. We introduceren een nieuw (v) Interactief Hash-verfijningsmodule om verder details toe te voegen en de geometrie te extraheren in de tweede fase. Onze experimenten tonen aan dat Interactive3D de aanpasbaarheid en kwaliteit van 3D-generatie aanzienlijk verbetert. Onze projectwebpagina is beschikbaar op https://interactive-3d.github.io/.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.