Modelos de Difusão Progressiva

Rolling Diffusion Models

February 12, 2024

Autores: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

Resumo

Modelos de difusão têm sido cada vez mais aplicados recentemente a dados temporais, como vídeos, simulações de mecânica dos fluidos ou dados climáticos. Esses métodos geralmente tratam os quadros subsequentes de forma igual em relação à quantidade de ruído no processo de difusão. Este artigo explora a Difusão Rolante: uma nova abordagem que utiliza um processo de remoção de ruído em janela deslizante. Ela garante que o processo de difusão corrompa progressivamente ao longo do tempo, atribuindo mais ruído aos quadros que aparecem mais tarde em uma sequência, refletindo uma maior incerteza sobre o futuro à medida que o processo de geração se desenrola. Empiricamente, mostramos que, quando a dinâmica temporal é complexa, a Difusão Rolante é superior à difusão padrão. Especificamente, esse resultado é demonstrado em uma tarefa de previsão de vídeo usando o conjunto de dados de vídeo Kinetics-600 e em um experimento de previsão de dinâmica de fluidos caóticos.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.