Прогрессивные авторегрессионные модели диффузии видео

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Авторы: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Аннотация

Современные модели диффузии видео находятся на передовой и продемонстрировали выдающиеся результаты в создании видео высокого качества. Однако они могут генерировать только короткие видеоролики, обычно длительностью около 10 секунд или 240 кадров, из-за ограничений вычислительных ресурсов во время обучения. В данной работе мы показываем, что существующие модели могут быть естественным образом расширены до авторегрессионных моделей диффузии видео без изменения архитектуры. Наша ключевая идея заключается в том, чтобы назначать скрытые кадры с постепенно увеличивающимися уровнями шума, а не одним уровнем шума, что позволяет получить детализированные условия между скрытыми кадрами и большие перекрытия между окнами внимания. Такое пошаговое видеоочищение позволяет нашим моделям авторегрессивно генерировать видеокадры без ухудшения качества или резких изменений сцен. Мы представляем передовые результаты в генерации длинных видео длительностью 1 минута (1440 кадров при 24 кадрах в секунду). Видео из этой статьи доступны по ссылке https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.