HyperHuman: Hyperrealistische Menschgenerierung mit latenter struktureller Diffusion

Zusammenfassung

Trotz bedeutender Fortschritte bei groß angelegten Text-zu-Bild-Modellen bleibt die Erzeugung hyperrealistischer menschlicher Bilder eine wünschenswerte, aber noch ungelöste Aufgabe. Bestehende Modelle wie Stable Diffusion und DALL-E 2 neigen dazu, menschliche Bilder mit inkohärenten Teilen oder unnatürlichen Posen zu generieren. Um diese Herausforderungen zu bewältigen, liegt unsere zentrale Erkenntnis darin, dass menschliche Bilder inhärent strukturell über mehrere Granularitäten hinweg sind, von der groben Körperskelett-Ebene bis hin zur fein abgestuften räumlichen Geometrie. Daher ist es entscheidend, diese Korrelationen zwischen dem expliziten Erscheinungsbild und der latenten Struktur in einem Modell zu erfassen, um kohärente und natürliche menschliche Bilder zu erzeugen. Zu diesem Zweck schlagen wir ein einheitliches Framework, HyperHuman, vor, das menschliche Bilder in natürlichen Umgebungen mit hohem Realismus und vielfältigen Layouts generiert. Konkret: 1) Zunächst erstellen wir einen groß angelegten, menschenzentrierten Datensatz namens HumanVerse, der 340 Millionen Bilder mit umfassenden Annotationen wie menschlicher Pose, Tiefe und Oberflächennormalen umfasst. 2) Anschließend schlagen wir ein Latent Structural Diffusion Model vor, das gleichzeitig die Tiefe und Oberflächennormalen zusammen mit dem synthetisierten RGB-Bild denoisiert. Unser Modell fördert das gemeinsame Lernen von Bilderscheinung, räumlichen Beziehungen und Geometrie in einem einheitlichen Netzwerk, wobei jeder Zweig des Modells sich gegenseitig mit strukturellem Bewusstsein und texturierter Reichhaltigkeit ergänzt. 3) Schließlich schlagen wir einen Structure-Guided Refiner vor, um die vorhergesagten Bedingungen für eine detailliertere Generierung höherer Auflösung zu kombinieren und so die visuelle Qualität weiter zu steigern. Umfangreiche Experimente zeigen, dass unser Framework Spitzenleistungen erzielt und hyperrealistische menschliche Bilder in diversen Szenarien generiert. Projektseite: https://snap-research.github.io/HyperHuman/

English

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/

HyperHuman: Hyperrealistische Menschgenerierung mit latenter struktureller Diffusion

HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

Zusammenfassung

Support