DiffPortrait360: 360度ビュー合成のための一貫性のあるポートレート拡散

DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

March 19, 2025

著者: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li

cs.AI

要旨

単一視点画像から高品質な360度ヒューマンヘッドビューを生成することは、アクセシブルな没入型テレプレゼンスアプリケーションとスケーラブルなパーソナライズドコンテンツ作成を実現するために不可欠です。最先端のフルヘッド生成手法は現実的な人間の頭部のモデリングに限定されていますが、スタイルを問わない頭部合成のための最新の拡散ベースアプローチは正面ビューのみを生成可能で、視点の一貫性に課題があり、任意の角度からのレンダリングのための真の3Dモデルへの変換を妨げています。本論文では、人間の頭部、スタイライズされた形態、擬人化された形態、さらには眼鏡や帽子などのアクセサリーを含む、完全に一貫した360度ヘッドビューを生成する新規アプローチを提案します。本手法はDiffPortrait3Dフレームワークを基盤とし、後頭部の詳細生成のためのカスタムControlNetと、前面と背面のグローバルな一貫性を保証するデュアルアピアランスモジュールを組み込んでいます。連続的な視点シーケンスでの学習と背面参照画像の統合により、本アプローチはロバストで局所的に連続的なビュー合成を実現します。本モデルは、高品質なニューラルラジアンスフィールド（NeRF）を生成し、リアルタイムの自由視点レンダリングを可能にし、非常に困難な入力ポートレートに対するオブジェクト合成と360度ヘッド生成において、最先端の手法を凌駕する性能を示します。

English

Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.