Interactive3D: Crea lo que quieras mediante generación interactiva en 3D

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Autores: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Resumen

La generación de objetos 3D ha experimentado avances significativos, produciendo resultados de alta calidad. Sin embargo, aún no logra un control preciso por parte del usuario, generando a menudo resultados que no se alinean con las expectativas del usuario, lo que limita su aplicabilidad. La generación de objetos 3D basada en la visión del usuario enfrenta desafíos importantes para materializar sus conceptos utilizando los modelos generativos actuales, debido a capacidades de interacción limitadas. Los métodos existentes ofrecen principalmente dos enfoques: (i) interpretar instrucciones textuales con una controlabilidad restringida, o (ii) reconstruir objetos 3D a partir de imágenes 2D. Ambos enfoques limitan la personalización a los confines de la referencia 2D y pueden introducir artefactos no deseados durante el proceso de elevación a 3D, restringiendo el alcance para modificaciones 3D directas y versátiles. En este trabajo, presentamos Interactive3D, un marco innovador para la generación interactiva de objetos 3D que otorga a los usuarios un control preciso sobre el proceso generativo a través de amplias capacidades de interacción 3D. Interactive3D se construye en dos etapas en cascada, utilizando representaciones 3D distintas. La primera etapa emplea Gaussian Splatting para la interacción directa del usuario, permitiendo modificaciones y guía de la dirección generativa en cualquier paso intermedio mediante (i) Adición y Eliminación de componentes, (ii) Arrastre Deformable y Rígido, (iii) Transformaciones Geométricas, y (iv) Edición Semántica. Posteriormente, los splats gaussianos se transforman en InstantNGP. Introducimos un nuevo módulo de (v) Refinamiento de Hash Interactivo para agregar más detalles y extraer la geometría en la segunda etapa. Nuestros experimentos demuestran que Interactive3D mejora notablemente la controlabilidad y la calidad de la generación 3D. Nuestra página web del proyecto está disponible en https://interactive-3d.github.io/.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.