階層型マスク3D拡散モデルによるビデオアウトペインティング

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

著者: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

要旨

ビデオアウトペインティングは、ビデオフレームの端にある欠落領域を適切に補完することを目的としています。画像アウトペインティングと比較して、モデルが補完領域の時間的一貫性を維持する必要があるため、追加の課題を提示します。本論文では、ビデオアウトペインティングのためのマスク付き3D拡散モデルを紹介します。3D拡散モデルを訓練するために、マスクモデリングの技術を使用します。これにより、複数のガイドフレームを使用して複数のビデオクリップ推論の結果を接続することができ、時間的一貫性を確保し、隣接フレーム間のジッターを低減します。同時に、ビデオのグローバルフレームをプロンプトとして抽出し、クロスアテンションを使用して現在のビデオクリップ以外の情報をモデルに提供します。また、アーティファクト蓄積問題を軽減するために、ハイブリッドな粗密推論パイプラインを導入します。既存の粗密パイプラインは埋め込み戦略のみを使用しており、スパースフレームの時間間隔が大きすぎるため劣化が生じます。私たちのパイプラインは、マスクモデリングの双方向学習の恩恵を受け、スパースフレームを生成する際に埋め込みと補間のハイブリッド戦略を採用できます。実験結果は、私たちの方法がビデオアウトペインティングタスクで最先端の結果を達成することを示しています。詳細な結果は、https://fanfanda.github.io/M3DDM/ で提供されています。

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.