HyperDreamer : Génération et édition de contenu 3D hyper-réaliste à partir d'une seule image

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Auteurs: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Résumé

La création de contenu 3D à partir d'une seule image est une tâche de longue date mais très souhaitable. Les avancées récentes introduisent des priors de diffusion 2D, produisant des résultats raisonnables. Cependant, les méthodes existantes ne sont pas suffisamment hyper-réalistes pour une utilisation post-génération, car les utilisateurs ne peuvent pas visualiser, rendre et éditer le contenu 3D résultant sous tous les angles. Pour relever ces défis, nous introduisons HyperDreamer avec plusieurs conceptions clés et propriétés attrayantes : 1) Visualisable : une modélisation de maillage à 360 degrés avec des textures haute résolution permet la création de modèles 3D visuellement convaincants depuis tous les points d'observation. 2) Rendu : une segmentation sémantique fine et des priors basés sur les données sont intégrés comme guide pour apprendre les propriétés raisonnables d'albedo, de rugosité et de spécularité des matériaux, permettant une estimation sémantique arbitraire des matériaux. 3) Éditable : pour un modèle généré ou leurs propres données, les utilisateurs peuvent sélectionner interactivement n'importe quelle région en quelques clics et éditer efficacement la texture avec un guidage basé sur le texte. Des expériences approfondies démontrent l'efficacité de HyperDreamer dans la modélisation de matériaux conscients des régions avec des textures haute résolution et dans l'activation d'un édition conviviale. Nous croyons que HyperDreamer promet d'avancer la création de contenu 3D et de trouver des applications dans divers domaines.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.