Interactive3D: Crie o Que Você Quer com Geração Interativa de 3D

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024

Autores: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu

cs.AI

Resumo

A geração de objetos 3D passou por avanços significativos, produzindo resultados de alta qualidade. No entanto, ainda não alcança um controle preciso do usuário, frequentemente gerando resultados que não atendem às expectativas, limitando assim sua aplicabilidade. A geração de objetos 3D conforme a visão do usuário enfrenta desafios significativos para concretizar seus conceitos usando os modelos generativos atuais, devido às capacidades limitadas de interação. Os métodos existentes oferecem principalmente duas abordagens: (i) interpretação de instruções textuais com controlabilidade restrita, ou (ii) reconstrução de objetos 3D a partir de imagens 2D. Ambas limitam a personalização aos limites da referência 2D e podem introduzir artefatos indesejados durante o processo de elevação para 3D, restringindo a possibilidade de modificações 3D diretas e versáteis. Neste trabalho, apresentamos o Interactive3D, uma estrutura inovadora para geração interativa de 3D que concede aos usuários controle preciso sobre o processo generativo por meio de amplas capacidades de interação 3D. O Interactive3D é construído em dois estágios em cascata, utilizando representações 3D distintas. O primeiro estágio emprega o Gaussian Splatting para interação direta do usuário, permitindo modificações e orientação da direção generativa em qualquer etapa intermediária através de (i) Adição e Remoção de componentes, (ii) Arrasto Deformável e Rígido, (iii) Transformações Geométricas e (iv) Edição Semântica. Posteriormente, os splats gaussianos são transformados em InstantNGP. Introduzimos um novo módulo de (v) Refinamento de Hash Interativo para adicionar mais detalhes e extrair a geometria no segundo estágio. Nossos experimentos demonstram que o Interactive3D melhora significativamente a controlabilidade e a qualidade da geração 3D. A página do nosso projeto está disponível em https://interactive-3d.github.io/.

English

3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.