HyperHuman: Генерация гиперреалистичных людей с использованием латентного структурного диффузионного подхода

HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

October 12, 2023

Авторы: Xian Liu, Jian Ren, Aliaksandr Siarohin, Ivan Skorokhodov, Yanyu Li, Dahua Lin, Xihui Liu, Ziwei Liu, Sergey Tulyakov

cs.AI

Аннотация

Несмотря на значительные достижения в области крупномасштабных моделей генерации изображений из текста, создание гиперреалистичных изображений людей остается желаемой, но нерешенной задачей. Существующие модели, такие как Stable Diffusion и DALL-E 2, часто генерируют изображения людей с несогласованными частями или неестественными позами. Чтобы решить эти проблемы, наше ключевое понимание заключается в том, что изображение человека по своей природе структурно на нескольких уровнях детализации — от грубого скелета тела до мелкозернистой пространственной геометрии. Поэтому захват таких корреляций между явным внешним видом и скрытой структурой в одной модели крайне важен для генерации согласованных и естественных изображений людей. С этой целью мы предлагаем унифицированную структуру, HyperHuman, которая генерирует реалистичные изображения людей в естественных условиях с разнообразными композициями. В частности: 1) мы сначала создаем крупномасштабный набор данных, ориентированный на человека, под названием HumanVerse, который состоит из 340 миллионов изображений с комплексными аннотациями, такими как поза человека, глубина и нормали поверхности. 2) Затем мы предлагаем модель латентного структурного диффузионного процесса, которая одновременно устраняет шум в глубине и нормалях поверхности вместе с синтезированным RGB-изображением. Наша модель обеспечивает совместное обучение внешнего вида изображения, пространственных отношений и геометрии в единой сети, где каждая ветвь модели дополняет друг друга как структурной осведомленностью, так и текстурным богатством. 3) Наконец, для дальнейшего повышения визуального качества мы предлагаем структурированный уточняющий модуль, который комбинирует предсказанные условия для более детальной генерации изображений с более высоким разрешением. Многочисленные эксперименты демонстрируют, что наша структура обеспечивает передовые результаты, генерируя гиперреалистичные изображения людей в различных сценариях. Страница проекта: https://snap-research.github.io/HyperHuman/

English

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/