Montage vidéo de portrait renforcé par des prédictions génératives multimodales

Portrait Video Editing Empowered by Multimodal Generative Priors

September 20, 2024

Auteurs: Xuan Gao, Haiyao Xiao, Chenglai Zhong, Shimin Hu, Yudong Guo, Juyong Zhang

cs.AI

Résumé

Nous présentons PortraitGen, une méthode puissante d'édition de vidéos de portrait qui réalise une stylisation cohérente et expressive avec des indices multimodaux. Les méthodes traditionnelles d'édition de vidéos de portrait ont souvent du mal avec la cohérence 3D et temporelle, et manquent généralement en qualité de rendu et en efficacité. Pour résoudre ces problèmes, nous élevons les images vidéo de portrait à un champ gaussien 3D dynamique unifié, ce qui garantit la cohérence structurelle et temporelle entre les images. De plus, nous concevons un mécanisme novateur de Texture Gaussienne Neuronale qui permet non seulement une édition de style sophistiquée, mais qui atteint également une vitesse de rendu de plus de 100 images par seconde. Notre approche intègre des entrées multimodales à travers des connaissances distillées à partir de modèles génératifs 2D à grande échelle. Notre système intègre également un guidage de similarité d'expression et un module d'édition de portrait conscient du visage, atténuant efficacement les problèmes de dégradation associés aux mises à jour itératives des ensembles de données. Des expériences approfondies démontrent la cohérence temporelle, l'efficacité de l'édition et la qualité de rendu supérieure de notre méthode. L'applicabilité étendue de l'approche proposée est démontrée à travers diverses applications, y compris l'édition basée sur du texte, l'édition basée sur des images et le reéclairage, mettant en évidence son grand potentiel pour faire avancer le domaine de l'édition vidéo. Des vidéos de démonstration et du code source sont disponibles sur notre page de projet : https://ustc3dv.github.io/PortraitGen/

English

We introduce PortraitGen, a powerful portrait video editing method that achieves consistent and expressive stylization with multimodal prompts. Traditional portrait video editing methods often struggle with 3D and temporal consistency, and typically lack in rendering quality and efficiency. To address these issues, we lift the portrait video frames to a unified dynamic 3D Gaussian field, which ensures structural and temporal coherence across frames. Furthermore, we design a novel Neural Gaussian Texture mechanism that not only enables sophisticated style editing but also achieves rendering speed over 100FPS. Our approach incorporates multimodal inputs through knowledge distilled from large-scale 2D generative models. Our system also incorporates expression similarity guidance and a face-aware portrait editing module, effectively mitigating degradation issues associated with iterative dataset updates. Extensive experiments demonstrate the temporal consistency, editing efficiency, and superior rendering quality of our method. The broad applicability of the proposed approach is demonstrated through various applications, including text-driven editing, image-driven editing, and relighting, highlighting its great potential to advance the field of video editing. Demo videos and released code are provided in our project page: https://ustc3dv.github.io/PortraitGen/