HyperHuman: Generazione Iper-Realistica di Umani con Diffusione Strutturale Latente

HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

October 12, 2023

Autori: Xian Liu, Jian Ren, Aliaksandr Siarohin, Ivan Skorokhodov, Yanyu Li, Dahua Lin, Xihui Liu, Ziwei Liu, Sergey Tulyakov

cs.AI

Abstract

Nonostante i significativi progressi nei modelli su larga scala di generazione di immagini da testo, ottenere la generazione di immagini umane iper-realistiche rimane un obiettivo desiderabile ma ancora irrisolto. Modelli esistenti come Stable Diffusion e DALL-E 2 tendono a generare immagini umane con parti incoerenti o pose innaturali. Per affrontare queste sfide, la nostra intuizione chiave è che l'immagine umana è intrinsecamente strutturale su molteplici granularità, dallo scheletro del corpo a livello grossolano alla geometria spaziale fine. Pertanto, catturare tali correlazioni tra l'aspetto esplicito e la struttura latente in un unico modello è essenziale per generare immagini umane coerenti e naturali. A tal fine, proponiamo un framework unificato, HyperHuman, che genera immagini umane in contesti reali di alto realismo e layout diversificati. Nello specifico, 1) abbiamo prima costruito un dataset su larga scala centrato sull'umano, denominato HumanVerse, che consiste di 340 milioni di immagini con annotazioni complete come la posa umana, la profondità e la normale superficiale. 2) Successivamente, proponiamo un Latent Structural Diffusion Model che denoizza simultaneamente la profondità e la normale superficiale insieme all'immagine RGB sintetizzata. Il nostro modello impone l'apprendimento congiunto dell'aspetto dell'immagine, della relazione spaziale e della geometria in una rete unificata, dove ogni ramo del modello si complementa con consapevolezza strutturale e ricchezza testurale. 3) Infine, per ulteriormente migliorare la qualità visiva, proponiamo un Structure-Guided Refiner per comporre le condizioni predette per una generazione più dettagliata a risoluzione più elevata. Esperimenti estensivi dimostrano che il nostro framework raggiunge prestazioni all'avanguardia, generando immagini umane iper-realistiche in scenari diversificati. Pagina del progetto: https://snap-research.github.io/HyperHuman/

English

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/