SEEAvatar: Generación de Avatares 3D Fotorrealistas a partir de Texto con Geometría y Apariencia Restringidas

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Autores: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Resumen

Impulsada por modelos de generación de texto a imagen a gran escala, la generación de avatares 3D a partir de texto ha logrado avances prometedores. Sin embargo, la mayoría de los métodos no consiguen resultados fotorrealistas, limitados por geometrías imprecisas y apariencias de baja calidad. Para avanzar hacia una generación de avatares más práctica, presentamos SEEAvatar, un método para generar avatares 3D fotorrealistas a partir de texto con restricciones de auto-evolución para geometría y apariencia desacopladas. Para la geometría, proponemos restringir el avatar optimizado en una forma global adecuada utilizando un avatar plantilla. Esta plantilla se inicializa con un conocimiento previo humano y puede actualizarse periódicamente por el avatar optimizado, funcionando como una plantilla evolutiva que permite una generación de formas más flexible. Además, la geometría también se restringe mediante un conocimiento previo humano estático en partes locales como el rostro y las manos para mantener estructuras delicadas. Para la generación de apariencia, utilizamos un modelo de difusión mejorado mediante ingeniería de prompts para guiar una canalización de renderizado basada en física, generando texturas realistas. Se aplica una restricción de luminosidad en la textura de albedo para suprimir efectos de iluminación incorrectos. Los experimentos muestran que nuestro método supera a los métodos anteriores tanto en la calidad global como local de la geometría y la apariencia por un amplio margen. Dado que nuestro método puede producir mallas y texturas de alta calidad, estos activos pueden aplicarse directamente en una canalización gráfica clásica para renderizado realista bajo cualquier condición de iluminación. Página del proyecto: https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.