Modello di Diffusione 3D Gerarchico con Maschera per l'Outpainting Video

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Autori: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Abstract

Il video outpainting mira a completare adeguatamente le aree mancanti ai bordi dei fotogrammi video. Rispetto all'image outpainting, presenta una sfida aggiuntiva poiché il modello deve mantenere la coerenza temporale dell'area riempita. In questo articolo, introduciamo un modello di diffusione 3D mascherato per il video outpainting. Utilizziamo la tecnica del mask modeling per addestrare il modello di diffusione 3D. Questo ci permette di utilizzare più fotogrammi guida per collegare i risultati di più inferenze di clip video, garantendo così la coerenza temporale e riducendo il tremolio tra fotogrammi adiacenti. Nel frattempo, estraiamo i fotogrammi globali del video come prompt e guidiamo il modello a ottenere informazioni oltre al clip video corrente utilizzando il cross-attention. Introduciamo inoltre una pipeline di inferenza ibrida coarse-to-fine per alleviare il problema dell'accumulo di artefatti. La pipeline coarse-to-fine esistente utilizza solo la strategia di riempimento, che porta a un degrado perché l'intervallo di tempo dei fotogrammi sparsi è troppo ampio. La nostra pipeline beneficia dell'apprendimento bidirezionale del mask modeling e può quindi impiegare una strategia ibrida di riempimento e interpolazione durante la generazione di fotogrammi sparsi. Gli esperimenti dimostrano che il nostro metodo raggiunge risultati all'avanguardia nei compiti di video outpainting. Ulteriori risultati sono disponibili al nostro https://fanfanda.github.io/M3DDM/.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.