Generative Bilddynamik

Zusammenfassung

Wir präsentieren einen Ansatz zur Modellierung eines bildraumbezogenen Priors für Szenendynamiken. Unser Prior wird aus einer Sammlung von Bewegungstrajektorien gelernt, die aus realen Videosequenzen mit natürlichen, oszillierenden Bewegungen wie Bäumen, Blumen, Kerzen und im Wind wehender Kleidung extrahiert wurden. Bei einem einzelnen Bild verwendet unser trainiertes Modell einen frequenzkoordinierten Diffusionssamplingsprozess, um eine langfristige Bewegungsrepräsentation pro Pixel im Fourierbereich vorherzusagen, die wir als neuronale stochastische Bewegungstextur bezeichnen. Diese Repräsentation kann in dichte Bewegungstrajektorien umgewandelt werden, die ein gesamtes Video umfassen. Zusammen mit einem bildbasierten Rendering-Modul können diese Trajektorien für eine Reihe von nachgelagerten Anwendungen genutzt werden, wie beispielsweise die Umwandlung von Standbildern in nahtlos wiederholbare dynamische Videos oder die Möglichkeit für Benutzer, realistisch mit Objekten in echten Bildern zu interagieren.

English

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

Generative Bilddynamik

Generative Image Dynamics

Zusammenfassung

Support