HyperDreamer: Hyperrealistische 3D-inhoudgeneratie en -bewerking vanuit een enkele afbeelding

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Auteurs: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Samenvatting

3D-contentcreatie vanuit een enkele afbeelding is een lang bestaande maar zeer gewenste taak. Recente ontwikkelingen introduceren 2D-diffusiepriors, wat redelijke resultaten oplevert. Bestaande methoden zijn echter niet hyperrealistisch genoeg voor gebruik na generatie, omdat gebruikers de resulterende 3D-inhoud niet vanuit een volledig bereik kunnen bekijken, renderen en bewerken. Om deze uitdagingen aan te pakken, introduceren we HyperDreamer met verschillende sleutelontwerpen en aantrekkelijke eigenschappen: 1) Bekijkbaar: 360-graden meshmodellering met hoogresolutietexturen maakt het mogelijk visueel overtuigende 3D-modellen te creëren vanuit een volledig bereik van observatiepunten. 2) Renderbaar: Fijnmazige semantische segmentatie en data-gedreven priors worden geïntegreerd als begeleiding om redelijke albedo, ruwheid en speculaire eigenschappen van de materialen te leren, wat semantisch bewuste willekeurige materiaalschatting mogelijk maakt. 3) Bewerkbaar: Voor een gegenereerd model of hun eigen gegevens kunnen gebruikers interactief elke regio selecteren via een paar klikken en efficiënt de textuur bewerken met tekstgebaseerde begeleiding. Uitgebreide experimenten tonen de effectiviteit van HyperDreamer aan in het modelleren van regio-bewuste materialen met hoogresolutietexturen en het mogelijk maken van gebruiksvriendelijke bewerkingen. Wij geloven dat HyperDreamer veelbelovend is voor het bevorderen van 3D-contentcreatie en toepassingen in verschillende domeinen kan vinden.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.