Hiërarchisch Gemaskerd 3D Diffusiemodel voor Video-Uitbreiding

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Auteurs: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Samenvatting

Video outpainting heeft als doel ontbrekende gebieden aan de randen van videobeelden adequaat aan te vullen. In vergelijking met image outpainting vormt het een extra uitdaging, omdat het model de temporele consistentie van het ingevulde gebied moet behouden. In dit artikel introduceren we een gemaskerd 3D-diffusiemodel voor video outpainting. We gebruiken de techniek van maskermodellering om het 3D-diffusiemodel te trainen. Hierdoor kunnen we meerdere referentiebeelden gebruiken om de resultaten van meerdere video clip inferenties met elkaar te verbinden, waardoor temporele consistentie wordt gewaarborgd en schokken tussen aangrenzende frames worden verminderd. Tegelijkertijd extraheren we de globale frames van de video als prompts en leiden we het model om informatie buiten de huidige video clip te verkrijgen met behulp van cross-attention. We introduceren ook een hybride coarse-to-fine inferentiepipeline om het probleem van artefactaccumulatie te verlichten. De bestaande coarse-to-fine pipeline gebruikt alleen de infill-strategie, wat degradatie veroorzaakt omdat het tijdsinterval van de sparse frames te groot is. Onze pipeline profiteert van bidirectioneel leren van de maskermodellering en kan daarom een hybride strategie van infillen en interpolatie toepassen bij het genereren van sparse frames. Experimenten tonen aan dat onze methode state-of-the-art resultaten behaalt in video outpainting-taken. Meer resultaten zijn beschikbaar op onze https://fanfanda.github.io/M3DDM/.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.