SEEAvatar: Geração Fotorealística de Avatares 3D a partir de Texto com Geometria e Aparência Restritas

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Autores: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Resumo

Impulsionada por modelos de geração de imagem a partir de texto em grande escala, a geração de avatares 3D a partir de texto tem feito progressos promissores. No entanto, a maioria dos métodos falha em produzir resultados fotorealísticos, limitados por geometria imprecisa e aparência de baixa qualidade. Visando uma geração de avatares mais prática, apresentamos o SEEAvatar, um método para gerar avatares 3D fotorealísticos a partir de texto com restrições de SElf-Evolving (Auto-Evolução) para geometria e aparência desacopladas. Para a geometria, propomos restringir o avatar otimizado em uma forma global adequada com um avatar modelo. O avatar modelo é inicializado com um conhecimento prévio humano e pode ser atualizado pelo avatar otimizado periodicamente como um modelo em evolução, o que permite uma geração de formas mais flexível. Além disso, a geometria também é restringida pelo conhecimento prévio humano estático em partes locais, como rosto e mãos, para manter estruturas delicadas. Para a geração de aparência, usamos um modelo de difusão aprimorado por engenharia de prompt para guiar um pipeline de renderização baseado em física, gerando texturas realistas. A restrição de luminosidade é aplicada na textura de albedo para suprimir efeitos de iluminação incorretos. Experimentos mostram que nosso método supera métodos anteriores tanto na qualidade global quanto local da geometria e aparência por uma grande margem. Como nosso método pode produzir malhas e texturas de alta qualidade, esses ativos podem ser aplicados diretamente no pipeline gráfico clássico para renderização realista sob qualquer condição de iluminação. Página do projeto: https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.