HyperDreamer: Geração e Edição de Conteúdo 3D Hiper-realista a partir de uma Única Imagem

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Autores: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Resumo

A criação de conteúdo 3D a partir de uma única imagem é uma tarefa antiga, mas altamente desejável. Avanços recentes introduziram priors de difusão 2D, produzindo resultados razoáveis. No entanto, os métodos existentes não são suficientemente hiper-realistas para uso pós-geração, pois os usuários não podem visualizar, renderizar e editar o conteúdo 3D resultante em uma gama completa de ângulos. Para enfrentar esses desafios, apresentamos o HyperDreamer com vários designs-chave e propriedades atraentes: 1) Visualizável: a modelagem de malha em 360 graus com texturas de alta resolução permite a criação de modelos 3D visualmente impressionantes a partir de uma gama completa de pontos de observação. 2) Renderizável: segmentação semântica de alta granularidade e priors baseados em dados são incorporados como orientação para aprender propriedades razoáveis de albedo, rugosidade e especularidade dos materiais, permitindo a estimativa de materiais arbitrários com consciência semântica. 3) Editável: para um modelo gerado ou seus próprios dados, os usuários podem selecionar interativamente qualquer região com alguns cliques e editar eficientemente a textura com orientação baseada em texto. Experimentos extensivos demonstram a eficácia do HyperDreamer na modelagem de materiais conscientes da região com texturas de alta resolução e na habilitação de edição amigável ao usuário. Acreditamos que o HyperDreamer tem potencial para avançar a criação de conteúdo 3D e encontrar aplicações em diversos domínios.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.