Modèle de diffusion 3D hiérarchique masqué pour l'extrapolation vidéo

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Auteurs: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Résumé

L'outpainting vidéo vise à compléter de manière adéquate les zones manquantes aux bords des images vidéo. Par rapport à l'outpainting d'images, cela présente un défi supplémentaire, car le modèle doit maintenir la cohérence temporelle de la zone remplie. Dans cet article, nous introduisons un modèle de diffusion 3D masqué pour l'outpainting vidéo. Nous utilisons la technique de modélisation par masque pour entraîner le modèle de diffusion 3D. Cela nous permet d'utiliser plusieurs images de référence pour relier les résultats de plusieurs inférences de clips vidéo, assurant ainsi la cohérence temporelle et réduisant les saccades entre les images adjacentes. Parallèlement, nous extrayons les images globales de la vidéo comme prompts et guidons le modèle pour obtenir des informations au-delà du clip vidéo actuel en utilisant l'attention croisée. Nous introduisons également un pipeline d'inférence hybride allant du grossier au fin pour atténuer le problème d'accumulation d'artefacts. Le pipeline existant allant du grossier au fin n'utilise que la stratégie de remplissage, ce qui entraîne une dégradation car l'intervalle de temps des images éparses est trop grand. Notre pipeline bénéficie de l'apprentissage bidirectionnel de la modélisation par masque et peut ainsi employer une stratégie hybride de remplissage et d'interpolation lors de la génération d'images éparses. Les expériences montrent que notre méthode obtient des résultats de pointe dans les tâches d'outpainting vidéo. Plus de résultats sont disponibles sur notre site https://fanfanda.github.io/M3DDM/.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.