Rolling-Diffusionsmodelle

Rolling Diffusion Models

February 12, 2024

Autoren: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

Zusammenfassung

Diffusionsmodelle werden in letzter Zeit zunehmend auf zeitliche Daten wie Videos, Strömungsmechanik-Simulationen oder Klimadaten angewendet. Diese Methoden behandeln in der Regel aufeinanderfolgende Frames gleichwertig in Bezug auf die Menge des Rauschens im Diffusionsprozess. Dieses Papier untersucht Rolling Diffusion: einen neuen Ansatz, der einen gleitenden Fenster-Denoisierungsprozess verwendet. Es stellt sicher, dass der Diffusionsprozess zeitlich fortschreitend verfälscht wird, indem Frames, die später in einer Sequenz erscheinen, mehr Rauschen zugewiesen wird, was die größere Unsicherheit über die Zukunft widerspiegelt, während der Generierungsprozess abläuft. Empirisch zeigen wir, dass Rolling Diffusion bei komplexen zeitlichen Dynamiken dem Standard-Diffusionsmodell überlegen ist. Dieses Ergebnis wird insbesondere in einer Video-Vorhersageaufgabe unter Verwendung des Kinetics-600-Videodatensatzes und in einem Experiment zur chaotischen Strömungsdynamik-Vorhersage demonstriert.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.