Иерархическая маскированная 3D диффузионная модель для расширения видеокадров

Hierarchical Masked 3D Diffusion Model for Video Outpainting

September 5, 2023

Авторы: Fanda Fan, Chaoxu Guo, Litong Gong, Biao Wang, Tiezheng Ge, Yuning Jiang, Chunjie Luo, Jianfeng Zhan

cs.AI

Аннотация

Видеоаутпейнтинг направлен на адекватное заполнение отсутствующих областей по краям видеокадров. По сравнению с аутпейнтингом изображений, он представляет дополнительную сложность, так как модель должна поддерживать временную согласованность заполненной области. В данной статье мы представляем маскированную 3D диффузионную модель для видеоаутпейнтинга. Мы используем технику маскированного моделирования для обучения 3D диффузионной модели. Это позволяет нам использовать несколько направляющих кадров для соединения результатов множественных выводов видеоклипов, обеспечивая тем самым временную согласованность и уменьшая дрожание между соседними кадрами. В то же время мы извлекаем глобальные кадры видео в качестве подсказок и направляем модель на получение информации, выходящей за пределы текущего видеоклипа, с помощью кросс-внимания. Мы также вводим гибридный процесс вывода от грубого к точному, чтобы смягчить проблему накопления артефактов. Существующий процесс от грубого к точному использует только стратегию заполнения, что приводит к ухудшению из-за слишком большого временного интервала между редкими кадрами. Наш процесс выигрывает от двунаправленного обучения маскированного моделирования и, таким образом, может применять гибридную стратегию заполнения и интерполяции при генерации редких кадров. Эксперименты показывают, что наш метод достигает передовых результатов в задачах видеоаутпейнтинга. Дополнительные результаты представлены на нашем сайте https://fanfanda.github.io/M3DDM/.

English

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results are provided at our https://fanfanda.github.io/M3DDM/.