マルチモーダル生成事前知識によって強化されたポートレートビデオ編集

Portrait Video Editing Empowered by Multimodal Generative Priors

September 20, 2024

著者: Xuan Gao, Haiyao Xiao, Chenglai Zhong, Shimin Hu, Yudong Guo, Juyong Zhang

cs.AI

要旨

PortraitGenは、マルチモーダルプロンプトを用いて一貫性のある表現豊かなスタイリゼーションを実現する強力な肖像ビデオ編集手法を紹介します。従来の肖像ビデオ編集手法は、しばしば3Dおよび時間的な一貫性に苦労し、レンダリングの品質と効率に欠けることが一般的です。これらの問題に対処するために、肖像ビデオフレームを統一された動的3Dガウス場に昇華させ、フレーム間の構造的および時間的な一貫性を確保します。さらに、洗練されたスタイル編集を可能にするだけでなく、レンダリング速度を100FPS以上にする新しいニューラルガウステクスチャメカニズムを設計しています。当社のアプローチは、大規模な2D生成モデルから抽出された知識を介してマルチモーダル入力を組み込んでいます。システムには、表情の類似性ガイダンスと顔認識型肖像編集モジュールも組み込まれており、反復的なデータセットの更新に関連する劣化問題を効果的に軽減しています。幅広い実験により、当社の手法の時間的一貫性、編集効率、および優れたレンダリング品質が示されています。提案された手法の広範な適用可能性は、テキスト駆動型編集、画像駆動型編集、およびリライティングを含むさまざまなアプリケーションを通じて示され、ビデオ編集分野の進歩に大きな潜在能力を持つことが強調されています。デモビデオとリリースされたコードは、当社のプロジェクトページで提供されています: https://ustc3dv.github.io/PortraitGen/

English

We introduce PortraitGen, a powerful portrait video editing method that achieves consistent and expressive stylization with multimodal prompts. Traditional portrait video editing methods often struggle with 3D and temporal consistency, and typically lack in rendering quality and efficiency. To address these issues, we lift the portrait video frames to a unified dynamic 3D Gaussian field, which ensures structural and temporal coherence across frames. Furthermore, we design a novel Neural Gaussian Texture mechanism that not only enables sophisticated style editing but also achieves rendering speed over 100FPS. Our approach incorporates multimodal inputs through knowledge distilled from large-scale 2D generative models. Our system also incorporates expression similarity guidance and a face-aware portrait editing module, effectively mitigating degradation issues associated with iterative dataset updates. Extensive experiments demonstrate the temporal consistency, editing efficiency, and superior rendering quality of our method. The broad applicability of the proposed approach is demonstrated through various applications, including text-driven editing, image-driven editing, and relighting, highlighting its great potential to advance the field of video editing. Demo videos and released code are provided in our project page: https://ustc3dv.github.io/PortraitGen/