Modelli di Diffusione a Rotazione

Abstract

I modelli di diffusione sono stati recentemente applicati sempre più frequentemente a dati temporali come video, simulazioni di meccanica dei fluidi o dati climatici. Questi metodi generalmente trattano i fotogrammi successivi in modo uguale per quanto riguarda la quantità di rumore nel processo di diffusione. Questo articolo esplora la Rolling Diffusion: un nuovo approccio che utilizza un processo di denoising a finestra scorrevole. Esso garantisce che il processo di diffusione corrompa progressivamente nel tempo assegnando più rumore ai fotogrammi che compaiono più avanti in una sequenza, riflettendo una maggiore incertezza sul futuro man mano che il processo di generazione si svolge. Empiricamente, dimostriamo che quando le dinamiche temporali sono complesse, la Rolling Diffusion è superiore alla diffusione standard. In particolare, questo risultato è dimostrato in un compito di previsione video utilizzando il dataset video Kinetics-600 e in un esperimento di previsione di dinamiche dei fluidi caotiche.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.

Modelli di Diffusione a Rotazione

Rolling Diffusion Models

Abstract

Support