DiffPortrait360: Согласованная диффузия портретов для синтеза 360-градусного обзора

DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

March 19, 2025

Авторы: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li

cs.AI

Аннотация

Создание высококачественных 360-градусных изображений человеческих голов на основе однокадровых изображений имеет ключевое значение для разработки доступных приложений иммерсивного телеприсутствия и масштабируемого создания персонализированного контента. Хотя современные методы генерации полных голов ограничиваются моделированием реалистичных человеческих голов, последние диффузионные подходы для синтеза голов с учетом стиля способны создавать только фронтальные виды и испытывают трудности с согласованностью видов, что препятствует их преобразованию в настоящие 3D-модели для рендеринга с произвольных углов. Мы представляем новый подход, который генерирует полностью согласованные 360-градусные виды голов, охватывая человеческие, стилизованные и антропоморфные формы, включая аксессуары, такие как очки и шляпы. Наш метод основан на фреймворке DiffPortrait3D, включая пользовательский ControlNet для генерации деталей затылка и двойной модуль внешнего вида для обеспечения глобальной согласованности фронтальной и задней частей. Благодаря обучению на последовательностях непрерывных видов и интеграции эталонного изображения задней части, наш подход достигает устойчивого и локально непрерывного синтеза видов. Наша модель может использоваться для создания высококачественных нейронных полей излучения (NeRF) для рендеринга в реальном времени с произвольных точек обзора, превосходя современные методы в синтезе объектов и генерации 360-градусных голов для крайне сложных входных портретов.

English

Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.