HyperDreamer: Hyperrealistische 3D-Inhaltsgenerierung und -Bearbeitung aus einem einzelnen Bild

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Autoren: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Zusammenfassung

Die Erstellung von 3D-Inhalten aus einem einzelnen Bild ist eine langjährige, aber äußerst wünschenswerte Aufgabe. Jüngste Fortschritte führen 2D-Diffusions-Priors ein, die vernünftige Ergebnisse liefern. Bestehende Methoden sind jedoch nicht hyperrealistisch genug für die Nutzung nach der Generierung, da Benutzer die resultierenden 3D-Inhalte nicht aus einem vollen Blickwinkel betrachten, rendern und bearbeiten können. Um diese Herausforderungen zu bewältigen, stellen wir HyperDreamer mit mehreren Schlüsseldesigns und ansprechenden Eigenschaften vor: 1) Betrachtbar: 360-Grad-Mesh-Modellierung mit hochauflösenden Texturen ermöglicht die Erstellung visuell ansprechender 3D-Modelle aus einem vollen Spektrum von Beobachtungspunkten. 2) Renderbar: Fein abgestufte semantische Segmentierung und datengetriebene Priors werden als Leitfaden integriert, um vernünftige Albedo-, Rauheits- und Spekulareigenschaften der Materialien zu erlernen, was eine semantisch bewusste, beliebige Materialschätzung ermöglicht. 3) Bearbeitbar: Für ein generiertes Modell oder ihre eigenen Daten können Benutzer interaktiv jede Region mit wenigen Klicks auswählen und die Textur effizient mit textbasierter Anleitung bearbeiten. Umfangreiche Experimente demonstrieren die Wirksamkeit von HyperDreamer bei der Modellierung regionsbewusster Materialien mit hochauflösenden Texturen und der Ermöglichung benutzerfreundlicher Bearbeitung. Wir glauben, dass HyperDreamer das Potenzial hat, die Erstellung von 3D-Inhalten voranzutreiben und Anwendungen in verschiedenen Domänen zu finden.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.