Interaktiv3D: Erschaffen Sie, was Sie wollen durch interaktive 3D-Generierung.

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Autoren: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Zusammenfassung

Die Generierung von 3D-Objekten hat signifikante Fortschritte gemacht und liefert hochwertige Ergebnisse. Allerdings fehlt es oft an präziser Benutzerkontrolle, was häufig zu Ergebnissen führt, die nicht den Erwartungen der Benutzer entsprechen und somit ihre Anwendbarkeit einschränken. Die benutzerorientierte Generierung von 3D-Objekten steht vor erheblichen Herausforderungen bei der Umsetzung ihrer Konzepte mithilfe aktueller generativer Modelle aufgrund begrenzter Interaktionsmöglichkeiten. Bestehende Methoden bieten hauptsächlich zwei Ansätze: (i) die Interpretation von Textanweisungen mit eingeschränkter Steuerbarkeit oder (ii) die Rekonstruktion von 3D-Objekten aus 2D-Bildern. Beide Ansätze beschränken die Anpassungsmöglichkeiten auf die Grenzen des 2D-Bezugs und können während des 3D-Umwandlungsprozesses unerwünschte Artefakte einführen, was den Spielraum für direkte und vielseitige 3D-Modifikationen einschränkt. In dieser Arbeit stellen wir Interactive3D vor, ein innovatives Framework für interaktive 3D-Generierung, das Benutzern präzise Kontrolle über den Generierungsprozess durch umfangreiche 3D-Interaktionsmöglichkeiten gewährt. Interactive3D ist in zwei aufeinanderfolgenden Stufen aufgebaut, die unterschiedliche 3D-Repräsentationen nutzen. Die erste Stufe verwendet Gaussian Splatting für direkte Benutzerinteraktion, was Modifikationen und die Steuerung der Generierungsrichtung in jedem Zwischenschritt durch (i) Hinzufügen und Entfernen von Komponenten, (ii) Verformbares und Starres Ziehen, (iii) Geometrische Transformationen und (iv) Semantisches Bearbeiten ermöglicht. Anschließend werden die Gaussian Splatting in InstantNGP umgewandelt. Wir stellen ein neuartiges (v) Interaktives Hash-Verfeinerungsmodul vor, um im zweiten Schritt weitere Details hinzuzufügen und die Geometrie zu extrahieren. Unsere Experimente zeigen, dass Interactive3D die Steuerbarkeit und Qualität der 3D-Generierung deutlich verbessert. Unsere Projektwebseite ist unter https://interactive-3d.github.io/ verfügbar.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.