HyperDreamer: Generación y Edición Hiperrealista de Contenido 3D a partir de una Única Imagen

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Autores: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Resumen

La creación de contenido 3D a partir de una sola imagen es una tarea de larga data pero altamente deseable. Los avances recientes han introducido priores de difusión 2D, obteniendo resultados razonables. Sin embargo, los métodos existentes no son lo suficientemente hiperrealistas para su uso posterior a la generación, ya que los usuarios no pueden visualizar, renderizar y editar el contenido 3D resultante desde un rango completo. Para abordar estos desafíos, presentamos HyperDreamer con varios diseños clave y propiedades atractivas: 1) Visualizable: el modelado de mallas de 360 grados con texturas de alta resolución permite la creación de modelos 3D visualmente atractivos desde un rango completo de puntos de observación. 2) Renderizable: se incorporan segmentación semántica de grano fino y priores basados en datos como guía para aprender propiedades razonables de albedo, rugosidad y especularidad de los materiales, permitiendo la estimación arbitraria de materiales con conciencia semántica. 3) Editable: para un modelo generado o sus propios datos, los usuarios pueden seleccionar interactivamente cualquier región con unos pocos clics y editar eficientemente la textura con guía basada en texto. Experimentos extensos demuestran la efectividad de HyperDreamer en el modelado de materiales conscientes de la región con texturas de alta resolución y en la habilitación de ediciones amigables para el usuario. Creemos que HyperDreamer tiene potencial para avanzar en la creación de contenido 3D y encontrar aplicaciones en diversos dominios.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.