Dynamiques génératives d'images

Résumé

Nous présentons une approche pour modéliser un a priori dans l'espace image sur la dynamique des scènes. Notre a priori est appris à partir d'une collection de trajectoires de mouvement extraites de séquences vidéo réelles contenant des mouvements naturels oscillants, tels que des arbres, des fleurs, des bougies et des vêtements flottant au vent. Étant donné une seule image, notre modèle entraîné utilise un processus d'échantillonnage par diffusion coordonné en fréquence pour prédire une représentation de mouvement à long terme par pixel dans le domaine de Fourier, que nous appelons une texture de mouvement stochastique neuronale. Cette représentation peut être convertie en trajectoires de mouvement denses qui couvrent une vidéo entière. Avec un module de rendu basé sur l'image, ces trajectoires peuvent être utilisées pour plusieurs applications en aval, comme transformer des images fixes en vidéos dynamiques en boucle fluide, ou permettre aux utilisateurs d'interagir de manière réaliste avec des objets dans des images réelles.

English

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

Dynamiques génératives d'images

Generative Image Dynamics

Résumé

Support