ローリング拡散モデル

Rolling Diffusion Models

February 12, 2024

著者: David Ruhe, Jonathan Heek, Tim Salimans, Emiel Hoogeboom

cs.AI

要旨

拡散モデルは最近、ビデオや流体力学シミュレーション、気候データなどの時系列データにますます適用されるようになってきている。これらの手法では、一般的に拡散プロセスにおけるノイズの量に関して、後続のフレームを均等に扱う。本論文では、Rolling Diffusionという新しいアプローチを探求する。これはスライディングウィンドウによるノイズ除去プロセスを使用し、生成プロセスが進むにつれて未来に対する不確実性が大きくなることを反映して、シーケンスの後半に現れるフレームにより多くのノイズを割り当てることで、拡散プロセスが時間とともに徐々に劣化することを保証する。実験的に、時系列ダイナミクスが複雑な場合、Rolling Diffusionは標準的な拡散モデルよりも優れていることを示す。特に、この結果はKinetics-600ビデオデータセットを用いたビデオ予測タスクと、カオス的な流体力学予測実験において実証されている。

English

Diffusion models have recently been increasingly applied to temporal data such as video, fluid mechanics simulations, or climate data. These methods generally treat subsequent frames equally regarding the amount of noise in the diffusion process. This paper explores Rolling Diffusion: a new approach that uses a sliding window denoising process. It ensures that the diffusion process progressively corrupts through time by assigning more noise to frames that appear later in a sequence, reflecting greater uncertainty about the future as the generation process unfolds. Empirically, we show that when the temporal dynamics are complex, Rolling Diffusion is superior to standard diffusion. In particular, this result is demonstrated in a video prediction task using the Kinetics-600 video dataset and in a chaotic fluid dynamics forecasting experiment.