Rollende Diffusiemodellen

Rolling Diffusion Models

February 12, 2024

Auteurs: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

Samenvatting

Diffusiemodellen worden de laatste tijd steeds vaker toegepast op temporele gegevens zoals video's, simulaties van vloeistofmechanica of klimaatdata. Deze methoden behandelen over het algemeen opeenvolgende frames op dezelfde manier wat betreft de hoeveelheid ruis in het diffusieproces. Dit artikel onderzoekt Rolling Diffusion: een nieuwe aanpak die gebruikmaakt van een glijdend venster voor het verwijderen van ruis. Het zorgt ervoor dat het diffusieproces geleidelijk door de tijd heen vervalt door meer ruis toe te wijzen aan frames die later in een reeks verschijnen, wat een grotere onzekerheid over de toekomst weerspiegelt naarmate het generatieproces vordert. Empirisch tonen we aan dat wanneer de temporele dynamiek complex is, Rolling Diffusion superieur is aan standaard diffusie. Dit resultaat wordt in het bijzonder gedemonstreerd in een videovoorspellingstaak met behulp van de Kinetics-600 videodataset en in een experiment met chaotische vloeistofdynamica-voorspellingen.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.