Модели катящейся диффузии

Аннотация

Диффузионные модели в последнее время всё чаще применяются для работы с временными данными, такими как видео, симуляции механики жидкостей или климатические данные. Эти методы обычно рассматривают последующие кадры как равнозначные с точки зрения уровня шума в процессе диффузии. В данной статье исследуется Rolling Diffusion — новый подход, использующий скользящее окно для процесса удаления шума. Он обеспечивает постепенное искажение данных во времени, добавляя больше шума к кадрам, которые появляются позже в последовательности, что отражает возрастающую неопределённость в отношении будущего по мере развёртывания процесса генерации. Эмпирически мы показываем, что в случаях, когда временная динамика сложна, Rolling Diffusion превосходит стандартную диффузию. В частности, этот результат демонстрируется в задаче предсказания видео на наборе данных Kinetics-600 и в эксперименте по прогнозированию хаотической динамики жидкостей.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.

Модели катящейся диффузии

Rolling Diffusion Models

Аннотация

Support