DiffPortrait360: Consistente Portretdiffusie voor 360-graden Viewsynthese

DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

March 19, 2025

Auteurs: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li

cs.AI

Samenvatting

Het genereren van hoogwaardige 360-graden weergaven van menselijke hoofden vanuit enkelvoudige afbeeldingen is essentieel voor het mogelijk maken van toegankelijke immersive telepresence-toepassingen en schaalbare gepersonaliseerde contentcreatie. Hoewel geavanceerde methoden voor het genereren van volledige hoofden beperkt zijn tot het modelleren van realistische menselijke hoofden, kunnen de nieuwste op diffusie gebaseerde benaderingen voor stijl-omnisciënte hoofdsynthese alleen frontale weergaven produceren en worstelen ze met consistentie tussen verschillende gezichtspunten, wat hun conversie naar echte 3D-modellen voor rendering vanuit willekeurige hoeken verhindert. Wij introduceren een nieuwe aanpak die volledig consistente 360-graden hoofdzichten genereert, geschikt voor menselijke, gestileerde en antropomorfe vormen, inclusief accessoires zoals brillen en hoeden. Onze methode bouwt voort op het DiffPortrait3D-framework, waarbij een aangepaste ControlNet wordt geïntegreerd voor het genereren van details aan de achterkant van het hoofd en een duale uiterlijkmodule om globale consistentie tussen voor- en achterkant te waarborgen. Door te trainen op continue gezichtsvolgordes en een referentiebeeld van de achterkant te integreren, bereikt onze aanpak een robuuste, lokaal continue synthese van gezichtspunten. Ons model kan worden gebruikt om hoogwaardige neurale stralingsvelden (NeRFs) te produceren voor real-time, vrijstandpunt-rendering, en overtreft state-of-the-art methoden in object-synthese en 360-graden hoofdsynthese voor zeer uitdagende portretinvoer.

English

Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.