SEEAvatar: Photorealistische Text-zu-3D-Avatar-Generierung mit eingeschränkter Geometrie und Erscheinung

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Autoren: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Zusammenfassung

Angetrieben durch groß angelegte Text-zu-Bild-Generierungsmodelle hat die Text-zu-3D-Avatar-Generierung vielversprechende Fortschritte gemacht. Die meisten Methoden scheitern jedoch daran, fotorealistische Ergebnisse zu erzielen, da sie durch unpräzise Geometrie und qualitativ minderwertiges Erscheinungsbild eingeschränkt sind. Um eine praktischere Avatar-Generierung zu ermöglichen, präsentieren wir SEEAvatar, eine Methode zur Generierung fotorealistischer 3D-Avatare aus Text mit SElf-Evolving-Einschränkungen für entkoppelte Geometrie und Erscheinungsbild. Für die Geometrie schlagen wir vor, den optimierten Avatar in einer anständigen globalen Form mit einem Template-Avatar zu beschränken. Der Template-Avatar wird mit menschlichen Vorannahmen initialisiert und kann periodisch durch den optimierten Avatar als sich entwickelnde Vorlage aktualisiert werden, was eine flexiblere Formgenerierung ermöglicht. Darüber hinaus wird die Geometrie auch durch statische menschliche Vorannahmen in lokalen Bereichen wie Gesicht und Händen beschränkt, um die feinen Strukturen zu erhalten. Für die Erscheinungsbildgenerierung verwenden wir ein durch Prompt-Engineering verbessertes Diffusionsmodell, um einen physikalisch basierten Rendering-Pipeline zu leiten, um realistische Texturen zu erzeugen. Die Helligkeitsbeschränkung wird auf die Albedo-Textur angewendet, um falsche Lichteffekte zu unterdrücken. Experimente zeigen, dass unsere Methode frühere Methoden sowohl in der globalen als auch in der lokalen Geometrie und der Qualität des Erscheinungsbilds deutlich übertrifft. Da unsere Methode hochwertige Meshes und Texturen erzeugen kann, können solche Assets direkt in der klassischen Grafikpipeline für realistische Darstellungen unter beliebigen Lichtbedingungen verwendet werden. Projektseite: https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.