SEEAvatar: Фотореалистичная генерация 3D-аватаров из текста с ограниченной геометрией и внешним видом

SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

December 13, 2023

Авторы: Yuanyou Xu, Zongxin Yang, Yi Yang

cs.AI

Аннотация

Благодаря крупномасштабным моделям генерации изображений из текста, создание 3D-аватаров по текстовому описанию достигло значительного прогресса. Однако большинство методов не способны создавать фотореалистичные результаты из-за неточной геометрии и низкокачественного внешнего вида. Для более практичного создания аватаров мы представляем SEEAvatar — метод генерации фотореалистичных 3D-аватаров из текста с использованием SElf-Evolving ограничений для разделения геометрии и внешнего вида. Для геометрии мы предлагаем ограничивать оптимизированный аватар в рамках корректной глобальной формы с использованием шаблонного аватара. Шаблонный аватар инициализируется с учетом априорных данных о человеке и может периодически обновляться на основе оптимизированного аватара, выступая в роли эволюционирующего шаблона, что позволяет создавать более гибкие формы. Кроме того, геометрия также ограничивается статическими априорными данными о человеке для локальных частей, таких как лицо и руки, чтобы сохранить тонкие структуры. Для генерации внешнего вида мы используем диффузионную модель, усиленную инженерией подсказок, чтобы направлять физически основанный конвейер рендеринга для создания реалистичных текстур. Ограничение яркости применяется к альбедо-текстуре для подавления некорректных эффектов освещения. Эксперименты показывают, что наш метод значительно превосходит предыдущие подходы как по качеству глобальной и локальной геометрии, так и по качеству внешнего вида. Поскольку наш метод позволяет создавать высококачественные меши и текстуры, такие ресурсы могут быть напрямую использованы в классическом графическом конвейере для реалистичного рендеринга при любых условиях освещения. Страница проекта: https://seeavatar3d.github.io.

English

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://seeavatar3d.github.io.