Hierarchisches maskiertes 3D-Diffusionsmodell für Video-Outpainting

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Autoren: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Zusammenfassung

Video Outpainting zielt darauf ab, fehlende Bereiche an den Rändern von Videobildern angemessen zu vervollständigen. Im Vergleich zum Image Outpainting stellt es eine zusätzliche Herausforderung dar, da das Modell die zeitliche Konsistenz des gefüllten Bereichs beibehalten sollte. In diesem Artikel stellen wir ein maskiertes 3D-Diffusionsmodell für Video Outpainting vor. Wir verwenden die Technik der Maskenmodellierung, um das 3D-Diffusionsmodell zu trainieren. Dies ermöglicht es uns, mehrere Leitbilder zu verwenden, um die Ergebnisse mehrerer Videoclip-Inferenzen zu verbinden und so die zeitliche Konsistenz zu gewährleisten und Ruckeln zwischen benachbarten Bildern zu reduzieren. Gleichzeitig extrahieren wir die globalen Bilder des Videos als Prompts und leiten das Modell an, mithilfe von Cross-Attention Informationen außerhalb des aktuellen Videoclips zu erhalten. Wir führen außerdem eine hybride Coarse-to-Fine-Inferenzpipeline ein, um das Problem der Artefaktakkumulation zu mildern. Die bestehende Coarse-to-Fine-Pipeline verwendet nur die Infilling-Strategie, was aufgrund des zu großen Zeitintervalls der spärlichen Bilder zu einer Verschlechterung führt. Unsere Pipeline profitiert vom bidirektionalen Lernen der Maskenmodellierung und kann daher beim Generieren spärlicher Bilder eine hybride Strategie aus Infilling und Interpolation anwenden. Experimente zeigen, dass unsere Methode state-of-the-art Ergebnisse in Video-Outpainting-Aufgaben erzielt. Weitere Ergebnisse sind auf unserer Website https://fanfanda.github.io/M3DDM/ verfügbar.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.