ChatPaper.aiChatPaper

HyperHuman: Generación Hiperrealista de Humanos con Difusión Estructural Latente

HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

October 12, 2023
Autores: Xian Liu, Jian Ren, Aliaksandr Siarohin, Ivan Skorokhodov, Yanyu Li, Dahua Lin, Xihui Liu, Ziwei Liu, Sergey Tulyakov
cs.AI

Resumen

A pesar de los avances significativos en los modelos de texto a imagen a gran escala, lograr la generación de imágenes humanas hiperrealistas sigue siendo una tarea deseada pero no resuelta. Modelos existentes como Stable Diffusion y DALL-E 2 tienden a generar imágenes humanas con partes incoherentes o poses poco naturales. Para abordar estos desafíos, nuestra idea clave es que la imagen humana es inherentemente estructural en múltiples niveles de granularidad, desde el esqueleto corporal a nivel general hasta la geometría espacial detallada. Por lo tanto, capturar estas correlaciones entre la apariencia explícita y la estructura latente en un solo modelo es esencial para generar imágenes humanas coherentes y naturales. Con este fin, proponemos un marco unificado, HyperHuman, que genera imágenes humanas en entornos naturales con alto realismo y diseños diversos. Específicamente, 1) primero construimos un conjunto de datos a gran escala centrado en humanos, llamado HumanVerse, que consta de 340 millones de imágenes con anotaciones completas como pose humana, profundidad y normal de superficie. 2) A continuación, proponemos un Modelo de Difusión Estructural Latente que simultáneamente elimina el ruido de la profundidad y la normal de superficie junto con la imagen RGB sintetizada. Nuestro modelo fomenta el aprendizaje conjunto de la apariencia de la imagen, la relación espacial y la geometría en una red unificada, donde cada rama del modelo se complementa entre sí con conciencia estructural y riqueza textural. 3) Finalmente, para mejorar aún más la calidad visual, proponemos un Refinador Guiado por Estructura para componer las condiciones predichas para una generación más detallada de mayor resolución. Experimentos extensos demuestran que nuestro marco ofrece un rendimiento de vanguardia, generando imágenes humanas hiperrealistas en diversos escenarios. Página del proyecto: https://snap-research.github.io/HyperHuman/
English
Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/
PDF171December 15, 2024