Modelos de Difusión en Progresión

Rolling Diffusion Models

February 12, 2024

Autores: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

Resumen

Los modelos de difusión se han aplicado cada vez más recientemente a datos temporales, como videos, simulaciones de mecánica de fluidos o datos climáticos. Estos métodos generalmente tratan los fotogramas subsiguientes de manera uniforme en cuanto a la cantidad de ruido en el proceso de difusión. Este artículo explora la Difusión Rodante: un nuevo enfoque que utiliza un proceso de eliminación de ruido mediante ventana deslizante. Este método asegura que el proceso de difusión corrompa progresivamente los datos a lo largo del tiempo, asignando más ruido a los fotogramas que aparecen más tarde en una secuencia, lo que refleja una mayor incertidumbre sobre el futuro a medida que avanza el proceso de generación. Empíricamente, demostramos que cuando las dinámicas temporales son complejas, la Difusión Rodante supera a la difusión estándar. En particular, este resultado se evidencia en una tarea de predicción de videos utilizando el conjunto de datos de videos Kinetics-600 y en un experimento de pronóstico de dinámica de fluidos caóticos.

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.