DiffPortrait360: 360도 뷰 합성을 위한 일관된 초상화 확산 모델

DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

March 19, 2025

저자: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li

cs.AI

초록

단일 뷰 이미지로부터 고품질의 360도 인간 머리 뷰를 생성하는 것은 접근 가능한 몰입형 원격 현존 애플리케이션과 확장 가능한 개인화 콘텐츠 제작을 가능하게 하는 데 필수적입니다. 최첨단 전체 머리 생성 방법은 사실적인 인간 머리 모델링에 국한되어 있으며, 최신 확산 기반 스타일-전지적 머리 합성 접근법은 정면 뷰만 생성할 수 있고 뷰 일관성에 어려움을 겪어 임의의 각도에서 렌더링할 수 있는 진정한 3D 모델로의 변환을 방해합니다. 우리는 인간, 스타일화된, 그리고 인간형 형태를 포함하여 안경과 모자와 같은 액세서리를 수용하는 완전히 일관된 360도 머리 뷰를 생성하는 새로운 접근법을 소개합니다. 우리의 방법은 DiffPortrait3D 프레임워크를 기반으로, 뒷머리 세부 사항 생성을 위한 맞춤형 ControlNet과 전면-후면 전역 일관성을 보장하는 이중 외관 모듈을 통합합니다. 연속적인 뷰 시퀀스에 대한 훈련과 후면 참조 이미지 통합을 통해, 우리의 접근법은 강력하고 지역적으로 연속적인 뷰 합성을 달성합니다. 우리의 모델은 실시간 자유 시점 렌더링을 위한 고품질 신경 방사 필드(NeRF)를 생성하는 데 사용될 수 있으며, 매우 도전적인 입력 초상화에 대해 최첨단 객체 합성 및 360도 머리 생성 방법을 능가합니다.

English

Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.