HyperDreamer: Generazione e Modifica di Contenuti 3D Iper-Realistici da una Singola Immagine

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Autori: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Abstract

La creazione di contenuti 3D a partire da una singola immagine è un compito di lunga data ma altamente desiderabile. I recenti progressi hanno introdotto prior di diffusione 2D, ottenendo risultati ragionevoli. Tuttavia, i metodi esistenti non sono sufficientemente iper-realistici per un utilizzo post-generazione, poiché gli utenti non possono visualizzare, renderizzare e modificare il contenuto 3D risultante da una gamma completa di angolazioni. Per affrontare queste sfide, introduciamo HyperDreamer con diversi design chiave e proprietà attraenti: 1) Visualizzabile: la modellazione di mesh a 360 gradi con texture ad alta risoluzione consente la creazione di modelli 3D visivamente accattivanti da una gamma completa di punti di osservazione. 2) Renderizzabile: la segmentazione semantica fine e i prior guidati dai dati sono incorporati come guida per apprendere proprietà ragionevoli di albedo, ruvidità e specularità dei materiali, consentendo una stima semantica arbitraria dei materiali. 3) Modificabile: per un modello generato o per i propri dati, gli utenti possono selezionare interattivamente qualsiasi regione con pochi clic e modificare efficientemente la texture con una guida basata su testo. Esperimenti estensivi dimostrano l'efficacia di HyperDreamer nella modellazione di materiali consapevoli della regione con texture ad alta risoluzione e nell'abilitazione di un'edizione user-friendly. Crediamo che HyperDreamer abbia il potenziale per far progredire la creazione di contenuti 3D e trovare applicazioni in vari domini.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.