SEEAvatar: Generazione fotorealistica di avatar 3D da testo con geometria e aspetto vincolati

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Autori: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Abstract

Guidati da modelli su larga scala di generazione di immagini da testo, la generazione di avatar 3D da testo ha compiuto progressi promettenti. Tuttavia, la maggior parte dei metodi non riesce a produrre risultati fotorealistici, limitati da geometrie imprecise e qualità visiva insufficiente. Verso una generazione di avatar più pratica, presentiamo SEEAvatar, un metodo per generare avatar 3D fotorealistici da testo con vincoli di SElf-Evolving per geometria e aspetto disaccoppiati. Per la geometria, proponiamo di vincolare l'avatar ottimizzato in una forma globale adeguata utilizzando un avatar template. L'avatar template viene inizializzato con un priore umano e può essere aggiornato periodicamente dall'avatar ottimizzato come template evolutivo, consentendo una generazione di forme più flessibile. Inoltre, la geometria è vincolata anche da un priore umano statico per parti locali come il viso e le mani, per mantenere strutture delicate. Per la generazione dell'aspetto, utilizziamo un modello di diffusione potenziato dall'ingegneria dei prompt per guidare una pipeline di rendering basata sulla fisica, generando texture realistiche. Il vincolo di luminosità viene applicato sulla texture albedo per sopprimere effetti di illuminazione errati. Gli esperimenti dimostrano che il nostro metodo supera di gran lunga i metodi precedenti sia nella qualità della geometria globale e locale che nell'aspetto. Poiché il nostro metodo può produrre mesh e texture di alta qualità, tali asset possono essere direttamente applicati nella classica pipeline grafica per rendering realistici in qualsiasi condizione di illuminazione. Pagina del progetto: https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.