Modèles de diffusion par roulement

Rolling Diffusion Models

February 12, 2024

Auteurs: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

Résumé

Les modèles de diffusion ont récemment été de plus en plus appliqués aux données temporelles telles que la vidéo, les simulations de mécanique des fluides ou les données climatiques. Ces méthodes traitent généralement les images successives de manière égale en ce qui concerne la quantité de bruit dans le processus de diffusion. Cet article explore la **Diffusion Glissante** : une nouvelle approche qui utilise un processus de débruitage par fenêtre glissante. Elle garantit que le processus de diffusion corrompt progressivement les données dans le temps en attribuant plus de bruit aux images qui apparaissent plus tard dans une séquence, reflétant ainsi une incertitude croissante concernant l'avenir au fur et à mesure que le processus de génération se déroule. Empiriquement, nous montrons que lorsque les dynamiques temporelles sont complexes, la Diffusion Glissante est supérieure à la diffusion standard. Ce résultat est notamment démontré dans une tâche de prédiction vidéo utilisant le jeu de données vidéo Kinetics-600 et dans une expérience de prévision de dynamique des fluides chaotique.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.