Modelo de Difusión 3D Jerárquico Enmascarado para Extrapolación de Video

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Autores: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Resumen

El video outpainting tiene como objetivo completar adecuadamente las áreas faltantes en los bordes de los fotogramas de video. En comparación con el outpainting de imágenes, presenta un desafío adicional, ya que el modelo debe mantener la consistencia temporal del área rellenada. En este artículo, presentamos un modelo de difusión 3D enmascarado para video outpainting. Utilizamos la técnica de modelado de máscaras para entrenar el modelo de difusión 3D. Esto nos permite utilizar múltiples fotogramas guía para conectar los resultados de múltiples inferencias de clips de video, asegurando así la consistencia temporal y reduciendo el temblor entre fotogramas adyacentes. Al mismo tiempo, extraemos los fotogramas globales del video como indicaciones y guiamos al modelo para obtener información más allá del clip de video actual utilizando atención cruzada. También introducimos una canalización de inferencia híbrida de grueso a fino para aliviar el problema de acumulación de artefactos. La canalización existente de grueso a fino solo utiliza la estrategia de relleno, lo que provoca degradación debido a que el intervalo de tiempo de los fotogramas dispersos es demasiado grande. Nuestra canalización se beneficia del aprendizaje bidireccional del modelado de máscaras y, por lo tanto, puede emplear una estrategia híbrida de relleno e interpolación al generar fotogramas dispersos. Los experimentos muestran que nuestro método logra resultados de vanguardia en tareas de video outpainting. Se proporcionan más resultados en nuestro https://fanfanda.github.io/M3DDM/.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.